💬
构建带多模型故障切换的客服聊天机器人
做一个 SaaS 客服体验:哪家上游挂掉都不影响。Claude → GPT → DeepSeek 由一个 key 自动路由。
推荐模型
OpenAI mini 档 →
便宜默认——短回复快,首字延迟低,适合实时聊天。
Claude Sonnet (最新) →
对话变复杂时长上下文推理最强。
DeepSeek V3.x →
兜底——成本只有 1/10,通用 Q&A 表现意外得好。
点击任意模型可查看当前 ID 和发布日期,参见 实时模型目录。
为什么聊天机器人必须多模型
单厂商机器人会随厂商一起挂——今年每家主流 LLM 都有多小时级故障。JJAPI 让你设主、备、低成本兜底。Claude 返 503 时用户拿到的是 GPT-4o 的稍异回复,不是错误界面。
流式 + tool use 全部兼容
JJAPI 把 SSE 流式和 OpenAI 风格 tool call 在所有模型上统一了。前端代码不用区分响应来自 Claude 还是 DeepSeek。
智能路由降本
简单问题(招呼、FAQ)走 gpt-4o-mini 或 deepseek-chat。复杂推理留给 claude-3-5-sonnet。多数生产聊天机器人按这个模式降本 60-80%。
故障切换路由示例
示例
from openai import OpenAI
client = OpenAI(base_url="https://api.jjapi.net/v1", api_key="sk-jjapi-...")
PRIMARY = "claude-3-5-sonnet"
FALLBACK = "gpt-4o-mini"
def chat(messages):
try:
return client.chat.completions.create(
model=PRIMARY, messages=messages, timeout=15,
)
except Exception:
return client.chat.completions.create(
model=FALLBACK, messages=messages,
)