Had kadar OpenRouter: panduan permulaan pantas

SDK compatibility and base URL setup

Sambungkan kod klien sedia ada anda dengan mengarahkannya ke hujung sambungan yang didedikasikan. Ini API serasi OpenAI menerima header piawai dan konfigurasi SDK tanpa perubahan kod. Anda hanya perlu mengemas kini URL asas dan menyediakan kunci API anda dari papan pemuka.

https://api.openrouterratelimits.com/v1 merupakan titik masuk tunggal untuk semua permintaan. Pengesahan menggunakan skema token Bearer standard yang terdapat dalam kebanyakan perpustakaan LLM moden. Hantar kunci anda dalam Authorization header untuk mengesahkan identiti anda. Tetapan ini berfungsi dengan mana-mana klien yang mengharapkan antara muka gaya OpenAI, menjadikan migrasi serta-merta untuk pasukan yang penat dengan kunci vendor.

• URL Asas: https://api.openrouterratelimits.com/v1
• Header Auth: Authorization: Bearer YOUR_API_KEY
• ID Model: uncensored

Respons penstriman dengan SSE

Aktifkan aliran dengan menetapkan stream: true dalam payload permintaan anda. API mengembalikan Server-Sent Events (SSE) untuk penghantaran token masa nyata. Setiap blok mengandungi teks yang dijana sehingga blok akhir termasuk statistik penggunaan. Pendekatan ini mengekalkan UI anda responsif walaupun untuk tetingkap konteks yang panjang.

Streaming sesuai untuk antara muka sembang atau senario roleplay di mana latensi penting. Anda tidak perlu menunggu keseluruhan penyelesaian untuk memaparkan teks. Chunk akhir sentiasa mengandungi kiraan token untuk pengebilan yang tepat. Ralat semasa streaming masih memulangkan kod status HTTP yang betul untuk penanganan serta-merta.

Pemanggilan fungsi dan mod JSON

Gunakan output terstruktur untuk pengekstrakan data atau integrasi alat. Aktifkan response_format dengan {"type": "json_object"} untuk memaksa pematuhan JSON. Mod ini penting untuk menguraikan struktur bersarang yang kompleks tanpa logik pembersihan tambahan. Panggilan fungsi berfungsi bersama penjanaan teks piawai untuk landasan kerja agen dinamik.

Takrifkan alat anda dalam tools array and specify tool_choice untuk penguatkuasaan ketat. Model mengembalikan panggilan fungsi dalam format OpenAI piawai. Ciri ini menyokong kedua-dua panggilan alat tunggal dan berbilang dalam giliran tunggal. Gunakan ini untuk membina agen yang berinteraksi dengan API atau pangkalan data luar dengan boleh dipercayai.

Menguruskan token dan parameter

Kawal tingkah laku penjanaan dengan parameter standard seperti temperature, top_p, dan stop. Tetingkap konteks menyokong sehingga 100,000 token untuk prompt dan penyelesaian gabungan. Ini membolehkan konteks sejarah yang meluas atau pemprosesan dokumen besar dalam satu permintaan.

Tetapkan max_tokens untuk membatasi panjang output, secara lalai kepada 2,048 jika tidak dinyatakan. Model mengendalikan presence_penalty dan frequency_penalty untuk kawalan gaya. Penggunaan token ditaksir berdasarkan jumlah input dan output sebenar. Kesilapan tidak menggunakan token, memastikan pengebilan yang adil untuk permintaan yang gagal.

Memahami had kadar setiap kunci

Setiap kunci API menyokong 300 permintaan setiap minit dengan had kekoncurrenan 8 permintaan serentak. Had ini terpakai per kunci, jadi mencipta beberapa kunci akan meningkatkan kelajuan anda secara linear. Saiz badan permintaan maksimum ialah 8 MB, yang muat dalam tetingkap konteks untuk kebanyakan kes penggunaan.

Rate limits reset continuously based on a sliding window. If you exceed the limit, the API returns a 429 error. Upgrade your prepaid credit to maintain priority access. Unlike shared tiers, our dedicated servers do not suffer from neighbor noise. Monitor your usage dashboard to stay within these boundaries for consistent performance.

Memecahkan ralat biasa

Kendalikan ralat dengan menyemak kod status HTTP dan badan respons. Ralat 401 menunjukkan kunci API tidak sah atau tiada. Jana semula kunci anda dari papan pemuka jika pengesahan gagal. Ralat 402 bermaksud kredit pra-dibayar anda telah habis; tambah nilai melalui crypto untuk meneruskan perkhidmatan.

Kesilapan 429 menandakan bahawa anda telah melebihi had kadar. Kurangkan kekerapan permintaan anda atau bahagikan beban kerja merentasi beberapa kunci. API tidak menagih token untuk kesilapan ini, jadi anda tidak kehilangan kredit untuk percubaan semula. Pastikan pustaka klien anda mengendalikan percubaan semula dengan penundaan eksponen untuk ketahanan.

cURL

Copycurl https://api.openrouterratelimits.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Process one million logs"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouterratelimits.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouterratelimits.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Aliran

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)