工具还在跑，AI为什么还能继续说？看懂多模态异步事件流

9月24日，Google Cloud宣布Gemini 3.8 Live with Live Avatar正式可用于企业生产：它能同步生成语音与头像画面、接收摄像头或屏幕，还能在后台调用工具时继续对话。通俗答案是，这不是一条“听完—计算—说完”的串行管道，而是一组带时间、任务编号和优先级的事件流。理解它，你就知道实时AI为什么能不卡住，也知道旧结果为何可能闯进新对话。

它解决什么问题

普通问答只需等待一个结果。实时多模态Agent却同时处理麦克风音频、视频帧、模型输出、播放器状态和外部工具。查保单可能要三秒，语音回执只需两百毫秒；如果所有事情排成一队，用户会先听见三秒沉默。若完全放任并发，上一轮“已提交”的结果又可能在用户撤销后播出来。

可以把系统类比成餐厅：服务员先确认“正在查”，厨师在后场处理，传菜员按桌号送回结果，顾客仍可继续提问。类比的边界是，数字系统中的音频块和工具结果还会乱序、重复或过期，不能只靠人脑记桌号，必须把这些约束编码成协议。

准确地说，异步事件流把输入、模型增量、工具调用和播放控制表示为独立事件；事件携带会话标识、轮次或任务标识、时间戳与类型。协调器不阻塞主循环，而是并发消费事件，并依据当前会话状态接受、延后、丢弃或取消它们。Backpressure（背压）是下游处理不过来时主动降采样、限速或暂停上游，避免队列无限增长。

事件协议还要区分“可覆盖”和“不可丢”。摄像头每秒几十帧，队列拥堵时保留最新帧通常比补播旧帧更有价值；字幕增量可以用更完整的新片段覆盖；而转账回执、人工批准和工具错误必须可靠送达并持久化。背压不是统一减速，而是按业务后果选择合并、降采样、重试或阻塞。

最小实践：让工具慢，但对话不停

下面只用Python标准库模拟两轮对话。第一轮工具很慢，用户很快开启第二轮；协调器以最新轮次为准，旧结果到达时不会播报。保存为events.py，运行python events.py。

import asyncio
from dataclasses import dataclass

@dataclass
class Event:
    turn: int
    kind: str
    text: str

async def tool(turn, delay, queue):
    await asyncio.sleep(delay)
    await queue.put(Event(turn, "tool_result", f"第{turn}轮工具完成"))

async def dialogue(queue):
    await queue.put(Event(1, "speech", "我先帮你查询"))
    asyncio.create_task(tool(1, 0.20, queue))
    await asyncio.sleep(0.05)
    await queue.put(Event(2, "speech", "已切换到新问题"))
    asyncio.create_task(tool(2, 0.05, queue))

async def main():
    queue = asyncio.Queue(maxsize=8)
    producer = asyncio.create_task(dialogue(queue))
    current_turn = 0
    accepted = []
    processed = 0
    while processed < 4:
        event = await queue.get()
        processed += 1
        current_turn = max(current_turn, event.turn)
        if event.kind == "tool_result" and event.turn < current_turn:
            print("DROP", event.text)
            continue
        accepted.append(event)
        print("PLAY", event.text)
    await producer

asyncio.run(main())

本次已在Python 3.9运行，顺序为播报第一轮回执、播报第二轮回执、接受第二轮工具结果，最后丢弃迟到的第一轮结果。asyncio.create_task让工具与对话并行；turn把结果绑定到发起它的轮次；有限队列给背压策略留下入口。它是协议演示，不是Gemini API实测，也没有生成音视频。

四个常见误区

第一，把异步理解成“所有任务一起跑”。并发只是手段，取消、超时和归属判断才保证正确。第二，认为时间戳足以排序。不同设备时钟会漂移，业务上更可靠的是会话与轮次标识。第三，只给文本做流式输出，却让音频、头像和字幕各走一套状态，它们很快会失步。第四，用无限队列换取“不丢数据”，结果是延迟持续累积；实时交互中，过期视频帧通常应降采样，而付款结果不能丢。

适用与不适用

这一架构适合实时客服、远程导览、屏幕协作和视频理赔：用户需要立即确认，后台又有慢工具。不适合把每个任务都自动并行化；支付、删除和授权变更仍应串行确认并保留人工闸门。Google称该产品支持97种语言、美国与欧洲端点，定制头像仍需白名单，Extended Thinking仍是私有预览；这些是官方产品状态，不等于所有地区、语言和网络条件下都有相同延迟。