目录
5196 字
26 分钟
语音 Agent 的延迟预算:ASR、LLM、TTS 串起来,慢的地方常常不在模型里

一、用户说「反应慢」,但模型并不慢#

一个语音助手,任务是改会议时间。用户对着手机说:

「帮我看看明天下午有没有空,有的话约个会议室。」

说完之后,屏幕上的波形停住,转圈,大约 1.4 秒后扬声器才开始出声。用户给了一句评价:反应有点慢。

把这一轮对话的耗时打出来,是下面这样:

阶段p50p95在做什么
端点检测(判定用户说完了)450 ms700 ms等一段静音,确认没有下文
ASR 定稿120 ms260 ms把流式中间结果收敛成最终文本
LLM 首 token380 ms900 ms排队、预填充、生成开头
TTS 首包180 ms320 ms合成出可以播放的一段音频

p50 加起来约 1.13 秒,p95 约 2.18 秒。模型这一步占 p50 的三分之一,占 p95 的四成;真正稳定拖时间的是端点检测——一段没人说话的时间。

这个分解解释了为什么「换个更快的模型」收效有限:你花力气把 LLM 首 token 从 380 毫秒压到 200 毫秒,端到端只快了 180 毫秒;而端点检测只要把静音阈值从 450 毫秒收到 300 毫秒,立刻省下 150 毫秒,代价是更容易把用户句中的停顿当成说完。

语音交互的延迟不是一个数,而是一组可以分别记账的预算。 记账的单位也不该是「整段回答生成完」,而是「用户可以开始听」——首段可听音频到达耳朵的时刻。后面的所有讨论,都围绕这个时刻展开。

二、先把「延迟」拆成三条时间线#

团队讨论延迟时,经常把三件不同的事混成一个指标。它们的目标值、负责模块和失败后果都不一样:

时间线起点终点用户感受到什么示例目标(p95)
响应延迟用户说完首段回应音频开始播放「它听懂了没有」1.0 s 以内
确认延迟用户说完出现任何「已收到」的信号(提示音、界面状态、语气词)「它还在不在」300 ms 以内
打断延迟用户开口系统停止播放并让出话轮「我能不能插话」200 ms 以内

这三条线可以同时达标,也可以互相拖累。一个系统可能首段音频 900 毫秒才来,但在 200 毫秒时播了一声轻提示,用户就觉得「它在处理」;另一个系统 800 毫秒就出声,但用户中途插话时它继续讲了 1.5 秒,用户会觉得「这东西根本不听人说话」。

人类对话给了一个参照。跨语言的会话分析研究发现,日常对话中接话的间隔大多落在 0–500 毫秒之间,分布众数接近 0,平均值约 200 毫秒(Stivers et al., 2009)。机器不需要做到 200 毫秒,但超过 1 秒的沉默会被听成「断线」或「没听懂」,用户倾向于重复、提高音量或者直接放弃。电话网络的经验值也可以借用:ITU-T G.114 建议单向传输延迟控制在 150 毫秒以内体验较好,150–400 毫秒仍可接受,超过 400 毫秒会明显影响对话节奏。注意这是网络传输层的建议,不等于应用层的响应预算,但它说明了人对「声音迟到」有多敏感。

三、串联管线:每一段都在等上一段#

把 ASR、LLM、TTS 首尾相接,时间就是相加的。这是级联式语音 Agent 的默认形态:

用户说完
│
├─ 端点检测:等待静音窗口 ────────── 450 ms
│
├─ ASR 定稿:中间结果 → 最终文本 ─── 120 ms
│
├─ LLM:排队 + 预填充 + 首 token ─── 380 ms
│
└─ TTS:文本 → 首段音频 ──────────── 180 ms
─────────
合计 1130 ms

相加本身不是问题,问题是很多人只优化其中一段,却按整条链路的总和做验收。更隐蔽的问题是:每一段都有自己的 p95,而端到端 p95 不是各段 p50 之和。 上面那张表里,各段 p95 相加是 2.18 秒,比 p50 总和多了近一倍。用户记住的往往就是那几次 2 秒。

串联链路还有一个结构性浪费:ASR 定稿和 LLM 预填充之间,其实可以重叠。用户说完的那一刻,流式 ASR 已经有了一段稳定的中间结果;如果这段结果在最近几百毫秒内没有再变,就可以先拿它去启动 LLM,等定稿回来再决定是否修正。同理,LLM 不必等整段回答生成完才交给 TTS,从句边界就可以开始合成。

用户说完
├─ 端点检测 ─────────────── 300 ms
├─ ASR 定稿 ───────┐ 120 ms(与下一段并行)
├─ LLM 首 token ───┴──────── 380 ms
└─ TTS 首包 ──────────────── 180 ms
────────
约 860 ms

省下的不是某一段的速度,而是段与段之间的等待。代价是引入了「基于不完整输入先行动」的风险:如果用户后面补充了「不对,是后天」,已经启动的那次 LLM 调用就白做了,甚至可能已经把错误的回答送进 TTS。所以并行的前提是有取消机制和修正策略,而不是单纯把超时调短。

四、端点检测:最大的那段延迟,不在模型里#

端点检测(endpointing)要回答一个问题:用户现在这个停顿,是句子说完了,还是只是换口气?

最常见的实现是固定静音阈值:检测到连续 500 毫秒没有语音活动,就判定这一轮结束。它简单、可预测,也很容易成为整条链路里最大的一块固定开销。把阈值调小会怎样:

静音阈值首段音频提前典型副作用
800 ms—对话节奏明显拖沓,用户开始抢话
500 ms300 ms句尾稍长的停顿会被切断
300 ms500 ms「嗯……那个……」这类思考停顿容易被误判
150 ms650 ms列举、报号码、说地址时几乎必然误切

纯 VAD 的困境在于,它只看能量,不看语义。「我想订明天下午……两点到四点之间」在「下午」后面有 400 毫秒的思考停顿,能量上完全像说完了;而「好的」后面拖长音,反而可能是没说完。

工程上通常叠三层信号:

  1. 声学层:VAD 给出的语音/静音概率,决定候选端点。
  2. 语言层:ASR 的中间结果是否以一个完整的句法单位结尾,比如有谓语、没有悬空的连词或量词。
  3. 会话层:当前任务是否处于「等待用户列举」的状态,比如正在收集日期、地址、电话号码,这时应该放宽阈值。

这三层不需要一个模型全做完,简单的规则就能覆盖大部分场景:中间结果以「的、和、或者、然后」结尾时,延长等待;以「吗、呢、吧、了」结尾时,缩短等待。代价是实现复杂度,收益是几百毫秒的稳定提升。

还有一点容易被忽略:端点检测和 ASR 定稿是两件事。 有的流式 ASR 在检测到端点后还要再跑一段收尾计算,才吐出最终文本;有的可以把定稿推迟到调用方显式请求。选型时要问清楚:端点由谁判定、定稿需要多久、中间结果有多稳定。这三个答案决定了你能不能安全地做并行。

五、LLM 这一段:首 token 才是预算,不是整段回答#

在语音场景里,LLM 的耗时应该看首 token 时间(TTFT),而不是总生成时间。因为 TTS 可以流式合成,用户听到第一句话时,模型还在生成后面的内容。把「整段回答 3 秒」当成延迟指标,会让人误以为必须换模型;实际要压的是排队和预填充。

TTFT 大致由三块组成:

组成受什么影响可做的优化
排队并发会话数、批处理调度、实例容量为语音链路预留容量,和离线批任务隔离
预填充系统提示词长度、工具定义数量、历史轮数裁剪提示词、缓存固定前缀、减少无关工具
首 token 生成模型大小、解码策略选更小的模型、限制开头长度、避免强制长推理

一个常被忽略的乘数:系统提示词和工具定义会在每一轮重复预填充。语音 Agent 往往带几十个工具,定义写得很详细,输入动辄几千 token。按每秒几千 token 的预填充速度,这部分本身就能吃掉几百毫秒。把工具按场景分组、每轮只挂当前需要的几个,通常比换模型更有效。

另一个策略是先给一个短开头,再给内容。比如先说「好的,我看一下」,同时继续生成真正的回答。这句话不是废话,它把确认延迟从 1 秒压到几百毫秒,让用户知道系统在工作。但它必须是诚实的——如果后面根本没有结果,这句「好的」就变成了拖延。语气词可以用来填补等待,不能用来掩盖失败。

六、TTS 这一段:首包延迟与韵律是一个权衡#

TTS 的延迟指标同样是首包时间(time to first audio chunk),不是整段语音合成完的时间。流式 TTS 通常按文本块合成,文本块切得越小,首包来得越快,但韵律越碎:

切分粒度首包延迟韵律适用场景
整段合成高连贯预生成的提示音、公告
按句切分中较自然大多数对话回答
按逗号/短语切分低容易断裂首句需要尽快出声时
按词切分很低明显机械不推荐用于自然对话

一个实用的折中是「首块短、后续块长」:第一块在句号或逗号处尽早切出,保证快速出声;之后的块按句子合并,保证听感。下面是一个按标点和长度切块的小例子:

import re
BOUNDARY = re.compile(r"[,。!?;,.!?;]")
def chunks(text: str, first_min: int = 4, later_min: int = 12, max_len: int = 60):
"""首块尽量短,后续块按句子合并;max_len 防止单块过长。"""
buf, first = "", True
for ch in text:
buf += ch
need = first_min if first else later_min
if (BOUNDARY.match(ch) and len(buf) >= need) or len(buf) >= max_len:
yield buf
buf, first = "", False
if buf:
yield buf

切块之外还有播放侧的缓冲。收到首包就立刻播放,网络抖动会造成卡顿和爆音;等缓冲到一定时长再播,又凭空增加了延迟。常见做法是维持一个 100–200 毫秒的小缓冲,并在欠载时用淡出而不是硬停。这个数字要按实际网络测,不能照抄。

七、把预算写成一张表#

延迟优化如果没有预算表,就会变成「谁声音大谁先优化」。比较可操作的方式是:先定端到端目标,再按 p95 分配到每一段,最后让每段自己认领。

假设目标是「用户说完到首段音频,p95 不超过 1.0 秒」,一份可能的分配是:

阶段预算(p95)是否在关键路径备注
端点检测300 ms是自适应阈值,列举场景放宽
ASR 定稿150 ms否与 LLM 预填充并行,需在首 token 前完成
LLM 首 token350 ms是含排队;超时走短回答兜底
TTS 首包150 ms是首块短切分
网络与播放缓冲50 ms是客户端到服务端、抖动缓冲
关键路径合计850 ms—留 150 ms 余量应对 p95 抖动

这张表有两个前提。第一,所有数字都是 p95,不是平均值;第二,并行的那两段不能重复计入。如果团队只能测到平均值,就先别急着定预算——平均值会把最影响体验的尾部藏起来。

预算定下来之后,还要把它传下去。一个常见错误是给每一段设一个独立的超时,比如 ASR 2 秒、LLM 10 秒、TTS 5 秒,看似都留了余量,实际端到端可能拖到十几秒。正确的做法是截止时间传播:入口处算出一个统一的截止时刻,每进入下一段就把剩余预算带过去,超了就降级,而不是继续等。

import time
def remaining(deadline: float) -> float:
return max(0.0, deadline - time.monotonic())
deadline = time.monotonic() + 1.0 # 端到端 1 秒
# ... 端点检测与 ASR 之后 ...
if remaining(deadline) < 0.45:
reply = quick_fallback() # 短回答或「我稍后再确认」
else:
reply = llm.generate(transcript, timeout=remaining(deadline) - 0.2)

这里的 - 0.2 是给 TTS 首包留的余量。降级不是失败,超时后硬等一个完整回答才是——用户宁愿听到一句短话,也不愿意对着静音等到怀疑连接断了。

八、打断:延迟的另一面是「停下来有多快」#

只优化「开始说话」会得到一个奇怪的产品:回应很快,但用户一插话,它还在自顾自地讲。打断延迟由四件事决定:

环节要做什么典型预算
上行音频采集用户声音,做回声消除20–60 ms
打断判定区分「嗯嗯」这类附和与真正的插话100–200 ms
取消传播通知 LLM 停止生成、TTS 停止合成数毫秒到数十毫秒
播放停止清空客户端缓冲区,淡出30–100 ms

最容易出问题的是回声消除。扬声器播放的 TTS 声音会被麦克风收进去,如果 AEC 没做好,系统会把自己的声音当成用户插话,于是不停自打断,或者反过来对真实插话不敏感。另一个坑是「嗯嗯」「对」这类附和音:用户并不是要抢话,只是表示在听。全量当成打断会让对话不断卡壳,全量忽略又会让真正想插话的人插不进去。常见做法是结合时长、能量和语义做一个轻量分类,短促的低能量音节当作反馈,不打断。

取消传播必须是端到端的。只停掉客户端播放,服务端的 LLM 还在生成、TTS 还在合成,下一次请求就会带着一堆已经作废的 token 和音频排队,延迟反而更差。正确的链路是:检测到打断 → 取消当前 turn 的生成任务 → 丢弃未播放的音频 → 把用户的新语音送进 ASR。每一段都要有明确的取消点,而不是靠超时自然结束。

九、语音到语音:省掉了串联,不等于省掉了预算#

端到端的语音到语音模型(speech-to-speech)把 ASR、LLM、TTS 合成一个模型,直接音频进、音频出。它的吸引力很直接:少了两次文本转换,少了两段首包等待,还能保留语气、停顿和情绪。Moshi 这类全双工模型在论文里给出的理论延迟是 200 毫秒量级,接近人类对话的接话间隔。

但它没有消灭延迟预算,只是换了一种记法:

维度级联管线语音到语音
首段音频延迟各段相加,可并行优化单模型,通常更低
中间文本天然存在,可审计、可检索可能没有,或需要额外解码
工具调用文本层直接接需要额外的函数调用通道,延迟加回来
业务规则容易在文本层拦截要在音频/隐状态层想办法
失败排查每段有日志端到端一个黑盒

对工具多、规则多、需要审计的企业场景,级联管线仍然更可控;对陪伴、口语练习、低延迟对话,语音到语音的优势更明显。两者也可以混用:用端到端模型负责寒暄和追问,一旦需要查数据、调工具,就切到级联链路。这时要注意切换本身的开销,别让「智能路由」变成新的延迟来源。

十、可观测性:没有分段计时,就只能靠感觉优化#

语音链路的延迟问题之所以难查,是因为它跨了客户端、网关、ASR、LLM、TTS 五个地方,任何一段的日志都只看到自己那一截。基本要求是给每一轮对话一个 trace id,并在这些点打时间戳:

计时点含义用途
speech_endVAD 判定用户停止说话响应延迟的起点
endpoint_decided端点检测给出结论算端点开销
asr_final最终文本可用算定稿延迟、统计改写率
llm_first_token模型吐出首 token区分排队与生成
tts_first_chunk首段音频可播放服务端侧的终点
client_first_audio客户端真正开始播放端到端体验的终点
barge_in_detected / playback_stopped打断判定与停止打断延迟

两个细节值得单独说。第一,服务端测到的首包时间不等于用户听到的时间。音频要经过网络、抖动缓冲、解码和扬声器,客户端侧的 client_first_audio 通常比服务端晚 50–200 毫秒。只用服务端指标做验收,会系统性地高估体验。第二,ASR 改写率要单独统计:并行启动 LLM 的前提是中间结果足够稳定,如果定稿经常推翻中间结果,并行带来的返工就会吃掉收益。这个比例应该作为一项常规指标,而不是出事后再去翻日志。

十一、上线前的检查清单#

  • 端到端指标是否按 p95 验收? 平均值好看不代表体验好,语音场景的尾部尤其明显。
  • 端点检测是否只有固定阈值? 至少要为列举、报号码、说地址这类场景放宽等待。
  • 并行启动 LLM 是否有取消与修正机制? 没有的话,省下的延迟会以错误回答的形式还回来。
  • 每段是否有独立的超时和统一的截止时间? 独立超时会叠加,端到端可能远超预期。
  • 超时后的降级路径是什么? 短回答、澄清追问、转文字,都比静音硬等好。
  • 打断能否在 200 毫秒内停止播放? 回声消除和附和音分类是否经过真实环境测试?
  • 取消是否传播到了 LLM 与 TTS? 只停客户端播放会留下作废的计算和排队。
  • 是否同时记录服务端首包与客户端首播? 两者的差值就是网络与播放侧的隐藏成本。
  • ASR 改写率是否在监控? 它决定了并行策略到底赚不赚。

十二、小结#

  • 语音延迟的记账单位是「首段可听音频」,不是「整段回答生成完」。 用户先听到,再判断要不要继续听。
  • 端点检测常常是最大的一块固定开销,而且不在模型里。 固定静音阈值简单,但会同时牺牲速度和容错。
  • 串联链路里的等待可以并行掉一部分。 ASR 定稿与 LLM 预填充、LLM 生成与 TTS 合成都可以重叠,前提是有取消和修正。
  • LLM 要压的是首 token,不是总时长。 排队、提示词长度和工具定义往往比模型大小更值得先看。
  • TTS 的首包与韵律是权衡。 首块短、后续块长,是一个务实的折中。
  • 预算要按 p95 分配,并且传下去。 每段一个独立超时,加起来就是端到端的失控。
  • 打断是延迟的另一面。 能多快开始说,也要能多快停下来;取消必须传播到生成侧。
  • 语音到语音省掉了串联,但没有省掉工程。 工具、规则、审计仍然要找地方安放。
  • 没有分段计时,优化就只能靠猜。 服务端首包和客户端首播之间的差值,往往就是被忽略的那一段。

参考来源#

语音 Agent 的延迟预算:ASR、LLM、TTS 串起来,慢的地方常常不在模型里
https://www.hehonglei.cn/posts/voice-agent-latency-budget-asr-llm-tts/
作者
Honglei He
发布于
2026-11-12
许可协议
CC BY-NC-SA 4.0