标签 NewAPI 下的文章

在 AI 中转站或模型网关中,我们通常会同时接入多个上游渠道,并通过优先级、权重、分组、模型映射等策略做调度。但在开启 NewAPI 的“渠道亲和性”之后,你可能会遇到一个看似反直觉的问题:

某个渠道已经失败,甚至已经被关闭了,但请求仍然不断命中旧渠道;新启用的高优先级、高权重渠道没有马上生效。

这并不一定是调度系统失效,而是“渠道亲和性”本身的设计结果:它会优先复用上一次成功的渠道,从而提升同一会话、同一缓存键、同一请求来源的稳定性。本文会解释这个机制的工作方式,并给出一套脱敏后的推荐配置,帮助你在稳定性和故障切换之间取得平衡。

阅读剩余部分