平均延迟很快用户还在卡？用AIPerf看懂P99尾延迟

一组AI请求平均1秒完成，用户仍可能频繁遇到5秒卡顿。通俗地说，平均值像全班平均身高，无法告诉你最高那几个人有多高；P99则告诉你最慢的1%请求处在什么位置。学会分位数、首Token时间和Token间延迟，你就能把“感觉有点慢”变成可复现的性能问题。

这个概念解决什么问题

大模型响应不是一个单一耗时。TTFT是Time to First Token，即请求发出到首个Token到达的时间，决定“多久开始说”；ITL是Inter-Token Latency，即相邻Token之间的间隔，决定“说话是否顺”；请求总延迟包含预填充与生成；输出吞吐则衡量整个系统每秒生成多少Token。

生活类比是餐厅：TTFT像第一道菜多久上桌，ITL像后续菜是否连续，总延迟像整桌吃完，吞吐像厨房一小时能服务多少桌。类比的边界在于，GPU会批处理不同长度请求，长提示的预填充与生成阶段还会争夺同一资源，不能把每个请求当成独立厨师。

准确地说，P99是样本延迟分布的第99百分位：约99%的观测不超过它，约1%更慢。它不是“最慢值”，也不是固定某一条请求；样本太少、流量不稳定或计算方法不同，都可能让P99摇摆。因此测试必须记录样本数、请求长度、并发、到达方式、模型版本与随机种子。

最小实践

先用纯Python看懂分位数，无需安装依赖。保存为tail_latency.py，运行python tail_latency.py：

import math

latency_ms = [420, 450, 470, 490, 510, 530, 560, 610, 900, 4200]

def percentile(values, q):
    ordered = sorted(values)
    rank = math.ceil(q * len(ordered)) - 1
    return ordered[max(0, rank)]

average = sum(latency_ms) / len(latency_ms)
for q in (0.50, 0.90, 0.99):
    print(f"p{int(q * 100)} = {percentile(latency_ms, q)} ms")
print(f"average = {average:.1f} ms")

本次任务已用Python 3实际运行：P50为510毫秒，P90为900毫秒，P99为4200毫秒，平均914毫秒。平均值没有揭示最慢请求到底多糟；P99则直接暴露4.2秒尾巴。这里使用“最近秩”教学定义，生产报表应统一工具定义。

真实AIPerf首轮可用uv tool install aiperf安装，再对兼容聊天端点执行aiperf profile --model 模型名 --endpoint-type chat --streaming --url 主机:端口 --request-rate 10 --arrival-pattern poisson --request-count 200。官方示例还配置输入输出Token均值、标准差与随机种子。该命令未在本次任务中实际运行，因为环境没有GPU模型服务；不能把文中结果当成你的硬件实测。