Thiết lập tương thích SDK và URL cơ sở
Kết nối mã client hiện có của bạn bằng cách trỏ nó vào điểm cuối chuyên dụng của chúng tôi. Cái này API tương thích OpenAI chấp nhận các tiêu chuẩn và cấu hình SDK mà không cần thay đổi mã. Bạn chỉ cần cập nhật URL cơ sở và cung cấp khóa API của bạn từ bảng điều khiển.
https://api.openrouterratelimits.com/v1 là điểm truy cập duy nhất cho tất cả các yêu cầu. Xác thực sử dụng sơ đồ Bearer token tiêu chuẩn có trong hầu hết các thư viện LLM hiện đại. Truyền khóa của bạn trong Authorization header để xác minh danh tính của bạn. Cấu hình này hoạt động với bất kỳ máy khách nào giao diện kiểu OpenAI, giúp di chuyển ngay lập tức cho các nhóm mệt mỏi với việc bị khóa nhà cung cấp.
- Base URL:
https://api.openrouterratelimits.com/v1 - Tiêu đề Auth:
Authorization: Bearer YOUR_API_KEY - ID Mô hình:
uncensored
Phản hồi dạng stream với SSE
Bật phát trực tiếp bằng cách đặt stream: true trong phần tải trọng yêu cầu. API trả về Server-Sent Events (SSE) để phân phối token theo thời gian thực. Mỗi chunk chứa văn bản được tạo ra cho đến khi chunk cuối cùng bao gồm thống kê sử dụng. Cách tiếp cận này giữ cho giao diện người dùng của bạn phản hồi ngay cả đối với các cửa sổ ngữ cảnh dài.
Streaming rất lý tưởng cho các giao diện trò chuyện hoặc kịch bản nhập vai nơi độ trễ là yếu tố quan trọng. Bạn không cần phải đợi toàn bộ kết thúc để hiển thị văn bản. Chunk cuối cùng luôn chứa số lượng token để tính phí chính xác. Lỗi trong quá trình streaming vẫn trả về các mã trạng thái HTTP phù hợp để xử lý ngay lập tức.
Gọi hàm và chế độ JSON
Sử dụng đầu ra có cấu trúc để trích xuất dữ liệu hoặc tích hợp công cụ. Bật response_format với {"type": "json_object"} để bắt buộc tuân thủ JSON. Chế độ này rất cần thiết để phân tích các cấu trúc lồng nhau phức tạp mà không cần logic dọn dẹp bổ sung. Gọi hàm hoạt động cùng với tạo văn bản tiêu chuẩn cho các quy trình tác nhân động.
Xác định công cụ của bạn trong tools mảng và chỉ định tool_choice cho thực thi nghiêm ngặt. Mô hình trả về các lệnh gọi hàm theo định dạng OpenAI tiêu chuẩn. Tính năng này hỗ trợ cả lệnh gọi công cụ đơn và nhiều lệnh gọi công cụ trong một lượt. Sử dụng điều này để xây dựng các agent tương tác với API hoặc cơ sở dữ liệu bên ngoài một cách đáng tin cậy.
Quản lý token và tham số
Kiểm soát hành vi sinh văn bản bằng các tham số tiêu chuẩn như temperature, top_p, và stop. Cửa sổ ngữ cảnh hỗ trợ tối đa 100,000 token cho prompt và hoàn thiện kết hợp. Điều này cho phép ngữ cảnh lịch sử rộng rãi hoặc xử lý tài liệu lớn trong một yêu cầu duy nhất.
Đặt max_tokens để giới hạn độ dài đầu ra, mặc định là 2.048 nếu bỏ qua. Mô hình xử lý presence_penalty và frequency_penalty cho kiểm soát phong cách. Việc sử dụng token được tính dựa trên số lượng đầu vào và đầu ra thực tế. Lỗi không tiêu thụ token, đảm bảo tính công bằng trong thanh toán cho các yêu cầu thất bại.
Hiểu về giới hạn tốc độ theo từng khóa API
Mỗi khóa API hỗ trợ 300 yêu cầu mỗi phút với giới hạn độ đồng thời là 8 yêu cầu đồng thời. Giới hạn này áp dụng cho mỗi khóa, vì vậy việc tạo nhiều khóa sẽ mở rộng thông lượng của bạn theo tỷ lệ tuyến tính. Kích thước tối đa của thân yêu cầu là 8 MB, phù hợp với cửa sổ ngữ cảnh cho hầu hết các trường hợp sử dụng.
Giới hạn tốc độ được đặt lại liên tục dựa trên cửa sổ trượt. Nếu bạn vượt quá giới hạn, API sẽ trả về lỗi 429. Nâng cấp tín dụng trả trước của bạn để duy trì quyền truy cập ưu tiên. Không giống như các gói dùng chung, các máy chủ dành riêng của chúng tôi không bị ảnh hưởng bởi nhiễu từ các bên khác. Theo dõi bảng điều khiển sử dụng của bạn để duy trì trong các giới hạn này nhằm đạt hiệu suất ổn định.
Khắc phục các lỗi phổ biến
Xử lý lỗi bằng cách kiểm tra mã trạng thái HTTP và thân phản hồi. Lỗi 401 cho biết khóa API không hợp lệ hoặc bị thiếu. Tạo lại khóa của bạn từ bảng điều khiển nếu xác thực thất bại. Lỗi 402 nghĩa là tín dụng trả trước của bạn đã cạn; hãy nạp thêm qua tiền điện tử để tiếp tục dịch vụ.
Lỗi 429 cho biết bạn đã vượt quá các giới hạn tốc độ. Hãy giảm tần suất yêu cầu hoặc chia tải công việc trên nhiều khóa. API không tính phí token cho các lỗi này, vì vậy bạn không mất số dư cho các lần thử lại. Đảm bảo thư viện máy khách của bạn xử lý các lần thử lại với cơ chế tăng dần theo cấp số nhân để đảm bảo tính mạnh mẽ.
cURL
curl https://api.openrouterratelimits.com/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Process one million logs"}]
}'Python
from openai import OpenAI
client = OpenAI(base_url="https://api.openrouterratelimits.com/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Node.js
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.openrouterratelimits.com/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Phát trực tiếp
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)