路由

理解同一模型的线路选择与失败换线。

你选择模型,平台从支持该模型及所用协议的线路中选择一次调用的去向。同一个模型可以有多条线路;线路数量与状态会变化。

从请求到线路

平台先检查模型、协议和参数要求,再结合健康状态与优先级选择可用线路。备选线路必须支持同一种协议;Chat、Responses、Messages 之间不会为了换线而偷偷转换。

同优先级的可用线路还可能受会话亲和影响。优先级不是对某个供应商的永久绑定,也不是每次都选择最低价格的保证。

失败换线

当一次尝试因可重试的上游故障、限流或线路不可用而失败时,平台可自动尝试其他合适的线路。没有可用备选或尝试仍失败时,请求返回错误;不是无限重试,也不保证已开始的流式回答可以无缝续接。

调用方参数错误不靠换线修复。应用仍需检查完成状态,并按错误与限制处理失败。

参数要求与供应商选择

provider.require_parameters 要求线路声明支持请求中的相关工具与采样参数,避免把要求交给不支持它的线路。它限制候选线路,不会为模型增加能力,也不保证模型一定调用工具或生成某种回答;没有符合要求的线路时可拒绝请求。具体参数支持以 Chat API 参考为准。

provider 中指定供应商的 order、only、ignore 是 BYOK 专属选项;require_parameters 这种能力约束不属于供应商选择限制。平台模型由平台选线。BYOK 当前即将推出,不要依赖它指定平台供应商。

API 参考 → · Cookbook →

导出

本页内容