一个超长提示词,为何从500改成400就省下四倍算力?

4190

一个永远不可能成功的请求,被系统标成了"服务器临时故障"。客户端看到这个信号,按规矩重试;重试一次,失败一次;再重试,再失败。整个过程里,GPU 什么都没算出来,但请求量翻了几倍。 NVIDIA Dynamo v1.6.2(标签日期 2026-11-05)是 v1.6.1 之上的补丁版本。代码改动很小,运维影响不小。两处变化值得盯:一是 TensorRT-LLM 后端遇到超过引擎 max_num_tokens 的提示词时,返回码从 HTTP 500 api_error 改成 HTTP 400 invalid_request_error,同时 worker 继续运行;二是 SGLang 的 decode 与 aggregated worker 多了一个可选的 --freeze-gc-after-init 开关(环境变量 DYN_SGL_FREEZE_GC_AFTER_INIT),目标是减少长跑 worker 的流式卡顿。 后端版本与 v1.6.1 保持一致:SGLang v0.5.21、TensorRT-LLM v1.3.0rc29、vLLM v0.31.0。 状态码不是装饰 用户和 GPU 之间的每一层,都靠状态码决定下一步动作。4xx 的含义是:这个请求本身有问题,别原样再发。5xx 的含义是:服务器出错了,再试一次也许能成。 在 1.6.2 之前,TensorRT-LLM 后端上一个超长的非流式 /v1/messages 请求会返回 500。v1.6.0 的发布说明把它列为已知问题,且没有绕行方案。一个注定失败的请求,被贴上了"瞬时故障"的标签。任何把 5xx 当作可重试的错误策略,都会把同一个必然失败的请求反复送上去。 算一笔简单的账。假设客户端库允许对 5xx 重试 3 次,一个超长提示词就变成 4 次打到前端的尝试。如果每秒有 50 个超长请求——一个配置错误的 agent 循环把整个代码仓库塞进上下文,就是很现实的来源——那就是每秒 200 次纯浪费的尝试;换成 400,这个数字是 50。倍数由你的重试策略决定,不由 Dynamo 决定。 还有第二笔成本。错误率看板和 SLO 燃烧告警通常把 5xx 算成服务方的失败,把 4xx 算成调用方的问题。超长提示词引发的 api_error 尖峰,会把值班工程师叫起来处理一件根本不是故障的事。改成 400,信号才落进正确的桶里。 升级前后怎么验 这个契约可以直接测。构造一个故意超长的提示词,看返回什么状态码。端点、模型名和尺寸都按你自己的部署替换。 用 httpx 向 /v1/messages 发一个内容为重复单词的请求,词数设为引擎 max_num_tokens 的两倍。 记录状态码、错误类型和耗时。 在 1.6.2 加 TensorRT-LLM 上,预期是 400 invalid_request_error;在 1.6.0/1.6.1 上,是 500 api_error,属于已记录的已知问题。 然后检查前端那几层。有三个地方会在 5xx 上重试,而很多人不记得它们存在:客户端 SDK 的内置重试(不少默认对 5xx 重试若干次)、API 网关或服务网格 sidecar 的重试策略、以及你自己那个遇到非 2xx 就重新入队的队列消费者。 按请求 id 记录一天的尝试次数。如果超长提示词表现为反复尝试,光升级还不够。在网关加一道便宜的预检查,把超出 token 预算的提示词挡在 GPU worker 之前,并把这个预算做成共享配置值,而不是复制进三个仓库的数字。 还有一个细节来自 v1.6.0 的已知问题清单:worker 拒绝请求时,前端返回的是通用错误,不带 worker 的消息。1.6.2 的说明把 v1.6.0 的已知问题一并继承,只除掉了超长提示词这一条。所以在 1.6.2 上,你应该期待状态码类别正确,但响应体不一定有用。别写解析错误文本的客户端逻辑。 GC 冻结开关到底做什么 第二处改动针对 SGLang decode 与 aggregated worker 里的 Python 垃圾回收。发布说明把目标描述为减少长跑 worker 的流式卡顿,并明确它默认关闭,建议在大范围启用前先拿一个对照 worker 比较内存占用。 它依托的是标准 CPython 机制。循环回收器会周期性遍历被跟踪的容器对象,寻找引用环。在一个启动时加载了大量 Python 状态的 worker 里(配置对象、分词器结构、调度表),每次完整回收都有很多东西要扫,而一次长扫描就是一次停顿,停的可能正是往流里喂 token 的那个线程。Python 提供 gc.freeze(),把当前被跟踪的对象全部移进永久代,后续回收直接跳过。 代价也写在这个机制里。被冻结的对象永远不会被回收,所以它们

about image

让足球成为你人生中的重要章节!...

让足球成为你人生中的重要章节!...