SDK-yhteensopivuus ja perus-URL-asetukset
Yhdistä olemassa oleva asiakaskoodi osoittamalla se meidän omistettuun päätepisteeseemme. Tämä openai-yhteensopiva API hyväksyy standardipäätteet ja SDK-määritykset ilman koodin muutoksia. Sinun tarvitsee vain päivittää base URL ja toimittaa API-avaimesi hallintapaneelista.
https://api.openrouterratelimits.com/v1 on kaikkien pyyntöjen yksittäinen päätepiste. Todennus käyttää standardia Bearer-token-pohjaista menetelmää, jota käytetään useimmissa nykyaikaisissa LLM-kirjastoissa. Syötä avaimesi kenttään Authorization header henkilöllisyytesi varmistamiseksi. Tämä kokoonpano toimii minkä tahansa OpenAI-tyyppistä käyttöliittymää odottavan asiakkaan kanssa, mikä tekee siirtymisestä välitöntä tiimeille, jotka ovat väsyneet toimittajien lukittumiseen.
- Base URL:
https://api.openrouterratelimits.com/v1 - Auth-otsake:
Authorization: Bearer YOUR_API_KEY - Mallin tunnus:
uncensored
Strimausvastaukset SSE:n kautta
Ota streamaus käyttöön asettamalla stream: true pyyntöpayloadissasi. Sovellusliittymä palauttaa Server-Sent Events (SSE) -viestejä reaaliaikaiseen tokenien toimitukseen. Jokainen lohko sisältaa tuotetun tekstin, kunnes viimeinen lohko sisältää käyttötilastot. Tämä lähestymistapa pitää käyttöliittymäsi responsiivisena pitkien kontekstiikkunoiden aikana.
Streamaus on ihanteellinen keskusteluliittymille tai roolipeliteleille, joissa viiveellä on merkitystä. Sinun ei tarvitse odottaa koko vastauksen valmistumista ennen tekstin näyttämistä. Viimeinen palikka sisältää aina token-laskurien tiedot tarkkaa laskutusta varten. Virheet streamauksen aikana palauttavat silti oikeat HTTP-vastauskoodit välittömää käsittelyä varten.
Function calling ja JSON-tila
Käytä strukturoituja tuloksia luotettavaan datan erittelyyn tai työkaluintegraatioon. Ota response_format kanssa {"type": "json_object"} pakottaa JSON-yhteensopivuuden. Tämä tila on välttämätön monimutkaisten sisäkkäisten rakenteiden jäsentämiseen ilman ylimääristä siivouslogiikkaa. Funktiokutsut toimivat standardin tekstigeneroinnin rinnalla dynaamisia agenttityönkulkuja varten.
Määritä työkalut tools taulukko ja määritä tool_choice tiukkaan täytäntöönpanoon. Malli palauttaa funktiokutsut standardissa OpenAI-muodossa. Tämä ominaisuus tukee sekä yksittäisiä että useita työkalukutsuja yhden vuorovaikutuksen sisällä. Käytä tätä agenttien rakentamiseen, jotka vuorovaikuttavat luotettavasti ulkoisten API-palveluiden tai tietokantojen kanssa.
Tokenien ja parametrien hallinta
Säädä tuotantokäyttäytymistä käyttämällä yleisiä parametreja kuten temperature, top_p, ja stop. Kontekstityöpöytä tukee yhteensä enintään 100 000 tokenia syötteelle ja täydennykselle. Tämä mahdollistaa laajan historiallisen kontekstin tai suurten dokumenttien käsittelyn yhdessä pyynnössä.
Aseta max_tokens rajoittamaan tulosteen pituutta, oletusarvo on 2 048, jos sitä ei määritetä. Malli käsittelee presence_penalty ja frequency_penalty tyylilliseen hallintaan. Token-käyttö laskutetaan todellisten syöte- ja tulomäärien perusteella. Virheet eivät kuluta token-eja, mikä varmistaa reilun laskutuksen epäonnistuneista pyynnöistä.
Ymmärrä nopeusrajoitukset avainta kohti
Jokainen API-avain tukee 300 pyyntöä minuutissa, ja samanaikaisuusraja on 8 samanaikaista pyyntöä. Tämä raja koskee avainta kohti, joten useiden avainten luominen skaalaa läpäisykykyä lineaarisesti. Maksimi pyyntökehikon koko on 8 Mt, mikä mahtuu kontekstiikkunaan useimmissa käyttötapauksissa.
Nopeusrajoitukset nollautuvat jatkuvasti liukuvan ikkunan perusteella. Jos ylität rajan, API palauttaa virheen 429. Päivitä esimaksulliset rahasi ylläpitääksesi etuoikeutetun pääsyn. Toisin kuin jaetut tasot, omat palvelimemme eivät kärsi naapurihäiriöistä. Seuraa käyttötilastojasi pysyäksesi näiden rajojen sisällä vakaan suorituskyvyn varmistamiseksi.
Yleisten virheiden vianetsintä
Käsittele virheet tarkistamalla HTTP-tilakoodin ja vastauksen kehikon. Virhekoodi 401 tarkoittaa virheellistä tai puuttuvaa API-avainta. Luo uusi avain hallintapaneelista, jos autentikointi epäonnistuu. Virhekoodi 402 tarkoittaa, että esimaksusaltonsi on loppu; lataa saldo kryptolla palvelun jatkamiseksi.
Virhe 429 ilmoittaa, että olet ylittänyt nopeusrajoitukset. Vähennä pyyntöjen taajuutta tai jaa kuormitus useiden avainten kesken. API ei veloita tokenneja näistä virheistä, joten et menetä kreditiittiä uudelleenkäynnytyksistä. Varmista, että asiakas kirjasto käsittelee uudelleenkäynnistyksissä eksponentiaalisen taaksepäin hylkäyksen lujuuden varmistamiseksi.
cURL
curl https://api.openrouterratelimits.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Process one million logs"}]
}'Python
from openai import OpenAI
client = OpenAI(base_url="https://api.openrouterratelimits.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openrouterratelimits.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Virtaus
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)