Batas laju OpenRouter: panduan quickstart

Kompatibilitas SDK dan setup URL dasar

Hubungkan kode klien Anda yang sudah ada dengan mengarahkannya ke endpoint khusus kami. Ini api kompatibel openai menerima header standar dan konfigurasi SDK tanpa perubahan kode. Anda hanya perlu memperbarui URL dasar dan menyediakan kunci API Anda dari dasbor.

https://api.openrouterratelimits.com/v1 adalah titik masuk tunggal untuk semua permintaan. Autentikasi menggunakan skema token Bearer standar yang ditemukan di sebagian besar pustaka LLM modern. Lemparkan kunci Anda di Authorization header untuk memverifikasi identitas Anda. Konfigurasi ini berfungsi dengan klien apa pun yang mengharapkan antarmuka bergaya OpenAI, sehingga migrasi menjadi instan bagi tim yang lelah dengan vendor lock-in.

• URL Dasar: https://api.openrouterratelimits.com/v1
• Header Auth: Authorization: Bearer YOUR_API_KEY
• ID Model: uncensored

Respons streaming dengan SSE

Aktifkan streaming dengan mengatur stream: true dalam payload permintaan Anda. API mengembalikan Server-Sent Events (SSE) untuk pengiriman token secara real-time. Setiap chunk berisi teks yang dihasilkan hingga chunk terakhir mencakup statistik penggunaan. Pendekatan ini menjaga UI Anda tetap responsif bahkan untuk jendela konteks yang panjang.

Streaming sangat ideal untuk antarmuka obrolan atau skenario roleplay di mana latensi menjadi pertimbangan. Anda tidak perlu menunggu seluruh penyelesaian untuk menampilkan teks. Chunk terakhir selalu berisi jumlah token untuk penagihan yang akurat. Kesalahan selama streaming tetap mengembalikan kode status HTTP yang tepat untuk penanganan segera.

Pemanggilan fungsi dan mode JSON

Gunakan output terstruktur untuk ekstraksi data atau integrasi alat. Aktifkan response_format dengan {"type": "json_object"} untuk memaksa kepatuhan JSON. Mode ini penting untuk parsing struktur bersarang kompleks tanpa logika pembersihan tambahan. Pemanggilan fungsi bekerja berdampingan dengan generasi teks standar untuk alur kerja agen dinamis.

Tentukan alat Anda di tools array dan tentukan tool_choice untuk penegakan ketat. Model mengembalikan panggilan fungsi dalam format OpenAI standar. Fitur ini mendukung panggilan alat tunggal dan ganda dalam satu giliran. Gunakan ini untuk membangun agen yang berinteraksi dengan API atau basis data eksternal secara andal.

Mengelola token dan parameter

Kendalikan perilaku generasi dengan parameter standar seperti temperature, top_p, dan stop. Jendela konteks mendukung hingga 100.000 token untuk prompt dan penyelesaian gabungan. Ini memungkinkan konteks historis yang luas atau pemrosesan dokumen besar dalam satu permintaan.

Atur max_tokens untuk membatasi panjang output, dengan nilai default 2.048 jika tidak ditentukan. Model menangani presence_penalty dan frequency_penalty untuk kontrol gaya. Penggunaan token dibebankan berdasarkan jumlah input dan output aktual. Kesalahan tidak mengonsumsi token, memastikan penagihan yang adil untuk permintaan yang gagal.

Memahami batas laju per kunci

Setiap kunci API mendukung 300 permintaan per menit dengan batas konkurensi 8 permintaan simultan. Batas ini berlaku per kunci, sehingga membuat beberapa kunci akan meningkatkan throughput Anda secara linear. Ukuran badan permintaan maksimum adalah 8 MB, yang cocok dalam jendela konteks untuk sebagian besar kasus penggunaan.

Batas laju direset secara kontinu berdasarkan jendela geser. Jika Anda melebihi batas, API mengembalikan error 429. Tingkatkan kredit prabayar Anda untuk mempertahankan akses prioritas. Tidak seperti tier bersama, server dedicated kami tidak menderita gangguan dari tetangga. Pantau dasbor penggunaan Anda untuk tetap dalam batas ini untuk kinerja yang konsisten.

Pemecahan Masalah Kesalahan Umum

Tangani kesalahan dengan memeriksa kode status HTTP dan tubuh respons. Kesalahan 401 menunjukkan kunci API tidak valid atau hilang. Buat ulang kunci Anda dari dasbor jika autentikasi gagal. Kesalahan 402 berarti kredit prabayar Anda habis; isi ulang melalui crypto untuk melanjutkan layanan.

Kesalahan 429 menandakan bahwa Anda telah melebihi batas laju. Kurangi frekuensi permintaan atau bagi beban kerja di beberapa kunci. API tidak membebankan token untuk kesalahan ini, sehingga Anda tidak kehilangan kredit untuk percobaan ulang. Pastikan pustaka klien Anda menangani percobaan ulang dengan backoff eksponensial untuk ketangguhan.

cURL

Copycurl https://api.openrouterratelimits.com/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Process one million logs"}]
  }'

Python

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.openrouterratelimits.com/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Node.js

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.openrouterratelimits.com/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Streaming

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)