实测对比 5 款 LLM 网关：LiteLLM、Kong、Portkey 等
作者对比了 LiteLLM、Kong AI Gateway、Portkey、Bifrost、Apache APISIX 五款 LLM 网关在生产环境下的表现，关注流量管理、延迟、供应商故障和运维控制。LLM 网关位于应用与模型供应商之间，集中处理路由、负载均衡、限流、重试、故障回退、鉴权、日志、token 统计、成本监控、缓存等。文章指出单供应商的简单应用未必需要网关，但多供应商或高流量场景下集中控制价值明显，例如主供应商返回 429 限流时可在网关层统一决定重试、等待还是切换。原文正文不完整，具体对比结论有限。
推荐理由选型前先看这 5 个候选：LiteLLM、Kong、Portkey、Bifrost、APISIX，覆盖路由与限流场景