目录
一、用户说「反应慢」,但模型并不慢
一个语音助手,任务是改会议时间。用户对着手机说:
「帮我看看明天下午有没有空,有的话约个会议室。」
说完之后,屏幕上的波形停住,转圈,大约 1.4 秒后扬声器才开始出声。用户给了一句评价:反应有点慢。
把这一轮对话的耗时打出来,是下面这样:
| 阶段 | p50 | p95 | 在做什么 |
|---|---|---|---|
| 端点检测(判定用户说完了) | 450 ms | 700 ms | 等一段静音,确认没有下文 |
| ASR 定稿 | 120 ms | 260 ms | 把流式中间结果收敛成最终文本 |
| LLM 首 token | 380 ms | 900 ms | 排队、预填充、生成开头 |
| TTS 首包 | 180 ms | 320 ms | 合成出可以播放的一段音频 |
p50 加起来约 1.13 秒,p95 约 2.18 秒。模型这一步占 p50 的三分之一,占 p95 的四成;真正稳定拖时间的是端点检测——一段没人说话的时间。
这个分解解释了为什么「换个更快的模型」收效有限:你花力气把 LLM 首 token 从 380 毫秒压到 200 毫秒,端到端只快了 180 毫秒;而端点检测只要把静音阈值从 450 毫秒收到 300 毫秒,立刻省下 150 毫秒,代价是更容易把用户句中的停顿当成说完。
语音交互的延迟不是一个数,而是一组可以分别记账的预算。 记账的单位也不该是「整段回答生成完」,而是「用户可以开始听」——首段可听音频到达耳朵的时刻。后面的所有讨论,都围绕这个时刻展开。
二、先把「延迟」拆成三条时间线
团队讨论延迟时,经常把三件不同的事混成一个指标。它们的目标值、负责模块和失败后果都不一样:
| 时间线 | 起点 | 终点 | 用户感受到什么 | 示例目标(p95) |
|---|---|---|---|---|
| 响应延迟 | 用户说完 | 首段回应音频开始播放 | 「它听懂了没有」 | 1.0 s 以内 |
| 确认延迟 | 用户说完 | 出现任何「已收到」的信号(提示音、界面状态、语气词) | 「它还在不在」 | 300 ms 以内 |
| 打断延迟 | 用户开口 | 系统停止播放并让出话轮 | 「我能不能插话」 | 200 ms 以内 |
这三条线可以同时达标,也可以互相拖累。一个系统可能首段音频 900 毫秒才来,但在 200 毫秒时播了一声轻提示,用户就觉得「它在处理」;另一个系统 800 毫秒就出声,但用户中途插话时它继续讲了 1.5 秒,用户会觉得「这东西根本不听人说话」。
人类对话给了一个参照。跨语言的会话分析研究发现,日常对话中接话的间隔大多落在 0–500 毫秒之间,分布众数接近 0,平均值约 200 毫秒(Stivers et al., 2009)。机器不需要做到 200 毫秒,但超过 1 秒的沉默会被听成「断线」或「没听懂」,用户倾向于重复、提高音量或者直接放弃。电话网络的经验值也可以借用:ITU-T G.114 建议单向传输延迟控制在 150 毫秒以内体验较好,150–400 毫秒仍可接受,超过 400 毫秒会明显影响对话节奏。注意这是网络传输层的建议,不等于应用层的响应预算,但它说明了人对「声音迟到」有多敏感。
三、串联管线:每一段都在等上一段
把 ASR、LLM、TTS 首尾相接,时间就是相加的。这是级联式语音 Agent 的默认形态:
用户说完 │ ├─ 端点检测:等待静音窗口 ────────── 450 ms │ ├─ ASR 定稿:中间结果 → 最终文本 ─── 120 ms │ ├─ LLM:排队 + 预填充 + 首 token ─── 380 ms │ └─ TTS:文本 → 首段音频 ──────────── 180 ms ───────── 合计 1130 ms相加本身不是问题,问题是很多人只优化其中一段,却按整条链路的总和做验收。更隐蔽的问题是:每一段都有自己的 p95,而端到端 p95 不是各段 p50 之和。 上面那张表里,各段 p95 相加是 2.18 秒,比 p50 总和多了近一倍。用户记住的往往就是那几次 2 秒。
串联链路还有一个结构性浪费:ASR 定稿和 LLM 预填充之间,其实可以重叠。用户说完的那一刻,流式 ASR 已经有了一段稳定的中间结果;如果这段结果在最近几百毫秒内没有再变,就可以先拿它去启动 LLM,等定稿回来再决定是否修正。同理,LLM 不必等整段回答生成完才交给 TTS,从句边界就可以开始合成。
用户说完 ├─ 端点检测 ─────────────── 300 ms ├─ ASR 定稿 ───────┐ 120 ms(与下一段并行) ├─ LLM 首 token ───┴──────── 380 ms └─ TTS 首包 ──────────────── 180 ms ──────── 约 860 ms省下的不是某一段的速度,而是段与段之间的等待。代价是引入了「基于不完整输入先行动」的风险:如果用户后面补充了「不对,是后天」,已经启动的那次 LLM 调用就白做了,甚至可能已经把错误的回答送进 TTS。所以并行的前提是有取消机制和修正策略,而不是单纯把超时调短。
四、端点检测:最大的那段延迟,不在模型里
端点检测(endpointing)要回答一个问题:用户现在这个停顿,是句子说完了,还是只是换口气?
最常见的实现是固定静音阈值:检测到连续 500 毫秒没有语音活动,就判定这一轮结束。它简单、可预测,也很容易成为整条链路里最大的一块固定开销。把阈值调小会怎样:
| 静音阈值 | 首段音频提前 | 典型副作用 |
|---|---|---|
| 800 ms | — | 对话节奏明显拖沓,用户开始抢话 |
| 500 ms | 300 ms | 句尾稍长的停顿会被切断 |
| 300 ms | 500 ms | 「嗯……那个……」这类思考停顿容易被误判 |
| 150 ms | 650 ms | 列举、报号码、说地址时几乎必然误切 |
纯 VAD 的困境在于,它只看能量,不看语义。「我想订明天下午……两点到四点之间」在「下午」后面有 400 毫秒的思考停顿,能量上完全像说完了;而「好的」后面拖长音,反而可能是没说完。
工程上通常叠三层信号:
- 声学层:VAD 给出的语音/静音概率,决定候选端点。
- 语言层:ASR 的中间结果是否以一个完整的句法单位结尾,比如有谓语、没有悬空的连词或量词。
- 会话层:当前任务是否处于「等待用户列举」的状态,比如正在收集日期、地址、电话号码,这时应该放宽阈值。
这三层不需要一个模型全做完,简单的规则就能覆盖大部分场景:中间结果以「的、和、或者、然后」结尾时,延长等待;以「吗、呢、吧、了」结尾时,缩短等待。代价是实现复杂度,收益是几百毫秒的稳定提升。
还有一点容易被忽略:端点检测和 ASR 定稿是两件事。 有的流式 ASR 在检测到端点后还要再跑一段收尾计算,才吐出最终文本;有的可以把定稿推迟到调用方显式请求。选型时要问清楚:端点由谁判定、定稿需要多久、中间结果有多稳定。这三个答案决定了你能不能安全地做并行。
五、LLM 这一段:首 token 才是预算,不是整段回答
在语音场景里,LLM 的耗时应该看首 token 时间(TTFT),而不是总生成时间。因为 TTS 可以流式合成,用户听到第一句话时,模型还在生成后面的内容。把「整段回答 3 秒」当成延迟指标,会让人误以为必须换模型;实际要压的是排队和预填充。
TTFT 大致由三块组成:
| 组成 | 受什么影响 | 可做的优化 |
|---|---|---|
| 排队 | 并发会话数、批处理调度、实例容量 | 为语音链路预留容量,和离线批任务隔离 |
| 预填充 | 系统提示词长度、工具定义数量、历史轮数 | 裁剪提示词、缓存固定前缀、减少无关工具 |
| 首 token 生成 | 模型大小、解码策略 | 选更小的模型、限制开头长度、避免强制长推理 |
一个常被忽略的乘数:系统提示词和工具定义会在每一轮重复预填充。语音 Agent 往往带几十个工具,定义写得很详细,输入动辄几千 token。按每秒几千 token 的预填充速度,这部分本身就能吃掉几百毫秒。把工具按场景分组、每轮只挂当前需要的几个,通常比换模型更有效。
另一个策略是先给一个短开头,再给内容。比如先说「好的,我看一下」,同时继续生成真正的回答。这句话不是废话,它把确认延迟从 1 秒压到几百毫秒,让用户知道系统在工作。但它必须是诚实的——如果后面根本没有结果,这句「好的」就变成了拖延。语气词可以用来填补等待,不能用来掩盖失败。
六、TTS 这一段:首包延迟与韵律是一个权衡
TTS 的延迟指标同样是首包时间(time to first audio chunk),不是整段语音合成完的时间。流式 TTS 通常按文本块合成,文本块切得越小,首包来得越快,但韵律越碎:
| 切分粒度 | 首包延迟 | 韵律 | 适用场景 |
|---|---|---|---|
| 整段合成 | 高 | 连贯 | 预生成的提示音、公告 |
| 按句切分 | 中 | 较自然 | 大多数对话回答 |
| 按逗号/短语切分 | 低 | 容易断裂 | 首句需要尽快出声时 |
| 按词切分 | 很低 | 明显机械 | 不推荐用于自然对话 |
一个实用的折中是「首块短、后续块长」:第一块在句号或逗号处尽早切出,保证快速出声;之后的块按句子合并,保证听感。下面是一个按标点和长度切块的小例子:
import re
BOUNDARY = re.compile(r"[,。!?;,.!?;]")
def chunks(text: str, first_min: int = 4, later_min: int = 12, max_len: int = 60): """首块尽量短,后续块按句子合并;max_len 防止单块过长。""" buf, first = "", True for ch in text: buf += ch need = first_min if first else later_min if (BOUNDARY.match(ch) and len(buf) >= need) or len(buf) >= max_len: yield buf buf, first = "", False if buf: yield buf切块之外还有播放侧的缓冲。收到首包就立刻播放,网络抖动会造成卡顿和爆音;等缓冲到一定时长再播,又凭空增加了延迟。常见做法是维持一个 100–200 毫秒的小缓冲,并在欠载时用淡出而不是硬停。这个数字要按实际网络测,不能照抄。
七、把预算写成一张表
延迟优化如果没有预算表,就会变成「谁声音大谁先优化」。比较可操作的方式是:先定端到端目标,再按 p95 分配到每一段,最后让每段自己认领。
假设目标是「用户说完到首段音频,p95 不超过 1.0 秒」,一份可能的分配是:
| 阶段 | 预算(p95) | 是否在关键路径 | 备注 |
|---|---|---|---|
| 端点检测 | 300 ms | 是 | 自适应阈值,列举场景放宽 |
| ASR 定稿 | 150 ms | 否 | 与 LLM 预填充并行,需在首 token 前完成 |
| LLM 首 token | 350 ms | 是 | 含排队;超时走短回答兜底 |
| TTS 首包 | 150 ms | 是 | 首块短切分 |
| 网络与播放缓冲 | 50 ms | 是 | 客户端到服务端、抖动缓冲 |
| 关键路径合计 | 850 ms | — | 留 150 ms 余量应对 p95 抖动 |
这张表有两个前提。第一,所有数字都是 p95,不是平均值;第二,并行的那两段不能重复计入。如果团队只能测到平均值,就先别急着定预算——平均值会把最影响体验的尾部藏起来。
预算定下来之后,还要把它传下去。一个常见错误是给每一段设一个独立的超时,比如 ASR 2 秒、LLM 10 秒、TTS 5 秒,看似都留了余量,实际端到端可能拖到十几秒。正确的做法是截止时间传播:入口处算出一个统一的截止时刻,每进入下一段就把剩余预算带过去,超了就降级,而不是继续等。
import time
def remaining(deadline: float) -> float: return max(0.0, deadline - time.monotonic())
deadline = time.monotonic() + 1.0 # 端到端 1 秒# ... 端点检测与 ASR 之后 ...if remaining(deadline) < 0.45: reply = quick_fallback() # 短回答或「我稍后再确认」else: reply = llm.generate(transcript, timeout=remaining(deadline) - 0.2)这里的 - 0.2 是给 TTS 首包留的余量。降级不是失败,超时后硬等一个完整回答才是——用户宁愿听到一句短话,也不愿意对着静音等到怀疑连接断了。
八、打断:延迟的另一面是「停下来有多快」
只优化「开始说话」会得到一个奇怪的产品:回应很快,但用户一插话,它还在自顾自地讲。打断延迟由四件事决定:
| 环节 | 要做什么 | 典型预算 |
|---|---|---|
| 上行音频 | 采集用户声音,做回声消除 | 20–60 ms |
| 打断判定 | 区分「嗯嗯」这类附和与真正的插话 | 100–200 ms |
| 取消传播 | 通知 LLM 停止生成、TTS 停止合成 | 数毫秒到数十毫秒 |
| 播放停止 | 清空客户端缓冲区,淡出 | 30–100 ms |
最容易出问题的是回声消除。扬声器播放的 TTS 声音会被麦克风收进去,如果 AEC 没做好,系统会把自己的声音当成用户插话,于是不停自打断,或者反过来对真实插话不敏感。另一个坑是「嗯嗯」「对」这类附和音:用户并不是要抢话,只是表示在听。全量当成打断会让对话不断卡壳,全量忽略又会让真正想插话的人插不进去。常见做法是结合时长、能量和语义做一个轻量分类,短促的低能量音节当作反馈,不打断。
取消传播必须是端到端的。只停掉客户端播放,服务端的 LLM 还在生成、TTS 还在合成,下一次请求就会带着一堆已经作废的 token 和音频排队,延迟反而更差。正确的链路是:检测到打断 → 取消当前 turn 的生成任务 → 丢弃未播放的音频 → 把用户的新语音送进 ASR。每一段都要有明确的取消点,而不是靠超时自然结束。
九、语音到语音:省掉了串联,不等于省掉了预算
端到端的语音到语音模型(speech-to-speech)把 ASR、LLM、TTS 合成一个模型,直接音频进、音频出。它的吸引力很直接:少了两次文本转换,少了两段首包等待,还能保留语气、停顿和情绪。Moshi 这类全双工模型在论文里给出的理论延迟是 200 毫秒量级,接近人类对话的接话间隔。
但它没有消灭延迟预算,只是换了一种记法:
| 维度 | 级联管线 | 语音到语音 |
|---|---|---|
| 首段音频延迟 | 各段相加,可并行优化 | 单模型,通常更低 |
| 中间文本 | 天然存在,可审计、可检索 | 可能没有,或需要额外解码 |
| 工具调用 | 文本层直接接 | 需要额外的函数调用通道,延迟加回来 |
| 业务规则 | 容易在文本层拦截 | 要在音频/隐状态层想办法 |
| 失败排查 | 每段有日志 | 端到端一个黑盒 |
对工具多、规则多、需要审计的企业场景,级联管线仍然更可控;对陪伴、口语练习、低延迟对话,语音到语音的优势更明显。两者也可以混用:用端到端模型负责寒暄和追问,一旦需要查数据、调工具,就切到级联链路。这时要注意切换本身的开销,别让「智能路由」变成新的延迟来源。
十、可观测性:没有分段计时,就只能靠感觉优化
语音链路的延迟问题之所以难查,是因为它跨了客户端、网关、ASR、LLM、TTS 五个地方,任何一段的日志都只看到自己那一截。基本要求是给每一轮对话一个 trace id,并在这些点打时间戳:
| 计时点 | 含义 | 用途 |
|---|---|---|
speech_end | VAD 判定用户停止说话 | 响应延迟的起点 |
endpoint_decided | 端点检测给出结论 | 算端点开销 |
asr_final | 最终文本可用 | 算定稿延迟、统计改写率 |
llm_first_token | 模型吐出首 token | 区分排队与生成 |
tts_first_chunk | 首段音频可播放 | 服务端侧的终点 |
client_first_audio | 客户端真正开始播放 | 端到端体验的终点 |
barge_in_detected / playback_stopped | 打断判定与停止 | 打断延迟 |
两个细节值得单独说。第一,服务端测到的首包时间不等于用户听到的时间。音频要经过网络、抖动缓冲、解码和扬声器,客户端侧的 client_first_audio 通常比服务端晚 50–200 毫秒。只用服务端指标做验收,会系统性地高估体验。第二,ASR 改写率要单独统计:并行启动 LLM 的前提是中间结果足够稳定,如果定稿经常推翻中间结果,并行带来的返工就会吃掉收益。这个比例应该作为一项常规指标,而不是出事后再去翻日志。
十一、上线前的检查清单
- 端到端指标是否按 p95 验收? 平均值好看不代表体验好,语音场景的尾部尤其明显。
- 端点检测是否只有固定阈值? 至少要为列举、报号码、说地址这类场景放宽等待。
- 并行启动 LLM 是否有取消与修正机制? 没有的话,省下的延迟会以错误回答的形式还回来。
- 每段是否有独立的超时和统一的截止时间? 独立超时会叠加,端到端可能远超预期。
- 超时后的降级路径是什么? 短回答、澄清追问、转文字,都比静音硬等好。
- 打断能否在 200 毫秒内停止播放? 回声消除和附和音分类是否经过真实环境测试?
- 取消是否传播到了 LLM 与 TTS? 只停客户端播放会留下作废的计算和排队。
- 是否同时记录服务端首包与客户端首播? 两者的差值就是网络与播放侧的隐藏成本。
- ASR 改写率是否在监控? 它决定了并行策略到底赚不赚。
十二、小结
- 语音延迟的记账单位是「首段可听音频」,不是「整段回答生成完」。 用户先听到,再判断要不要继续听。
- 端点检测常常是最大的一块固定开销,而且不在模型里。 固定静音阈值简单,但会同时牺牲速度和容错。
- 串联链路里的等待可以并行掉一部分。 ASR 定稿与 LLM 预填充、LLM 生成与 TTS 合成都可以重叠,前提是有取消和修正。
- LLM 要压的是首 token,不是总时长。 排队、提示词长度和工具定义往往比模型大小更值得先看。
- TTS 的首包与韵律是权衡。 首块短、后续块长,是一个务实的折中。
- 预算要按 p95 分配,并且传下去。 每段一个独立超时,加起来就是端到端的失控。
- 打断是延迟的另一面。 能多快开始说,也要能多快停下来;取消必须传播到生成侧。
- 语音到语音省掉了串联,但没有省掉工程。 工具、规则、审计仍然要找地方安放。
- 没有分段计时,优化就只能靠猜。 服务端首包和客户端首播之间的差值,往往就是被忽略的那一段。
参考来源
- Stivers et al.: Universals and cultural variation in turn-taking in conversation(PNAS, 2009)
- ITU-T G.114: One-way transmission time(单向往返延迟建议)
- Moshi: a speech-text foundation model for real-time dialogue(Kyutai, 2024)
- Robust Speech Recognition via Large-Scale Weak Supervision(Whisper, 2022)
- Silero VAD:轻量语音活动检测模型
- Pipecat:开源语音与多模态 Agent 框架(流水线、打断与传输抽象)
- LiveKit Agents 文档:语音 Agent 的会话与打断处理
- OpenAI Realtime API 文档:语音到语音会话与事件流