用户纠正一次，模型下次还是会错：Shopify怎样把失败写进权重

多数AI产品所谓“越用越聪明”，实际只是保存聊天或修改提示词，模型权重并没有变化。Shopify公开的GraphQL Agent给出另一条路：把生产失败变成难例，经审查生成成功轨迹，再做监督微调和强化学习。真正可复制的不是96%成本降幅，而是一条能拒绝坏更新的反馈闭环。

发生了什么

PyTorch基金会在9月22日发布由Shopify工程负责人撰写的案例。该Agent为商家编写并执行Admin GraphQL API查询，生产峰值最高约每分钟2000个请求。官方称专用模型质量超过其通用前沿模型基线，年化推理成本估算从约2700万美元降到接近100万美元，降幅96%。

这些数字来自Shopify自己的系统与估算，文章没有公开完整模型、数据集和统一成本表，不能当成普遍承诺。更可核验的细节是：系统提示从约6000个Token压到约1500个学习到的Gist Token；在每分钟350个请求的压测中，首Token时间下降约19%，端到端延迟下降约38%，相同流量所需GPU估算减少约14%。

技术原理：先定义“好”，再挖失败

闭环的起点不是训练，而是质量契约。Shopify把完整性、执行成功、回答质量和安全写成有锚点的评分项，同时保留随机流量，避免只看被投诉的极端案例。低分对话成为难例，多个推理模型分别批评，仲裁器合并修复指令，再生成更好的轨迹。

接下来才是参数更新：成功轨迹进入监督微调（Supervised Fine-Tuning，SFT），奖励信号用于强化学习（Reinforcement Learning，RL）。长而稳定的系统提示另走一条压缩路径：教师模型读取完整提示，学生模型用少量可学习的Gist Token逼近输出分布。提示压缩与模型微调解决的是不同成本，不能混为一谈。

最小实践：难例必须过晋级门槛

下面的纯Python脚本从回放结果中选出低分且高频的难例，并要求候选模型在独立集上提升、同时安全分不下降。无需安装依赖，运行python3 gate.py。

from collections import Counter

traffic = [
    {"type": "库存范围", "score": 0.42},
    {"type": "库存范围", "score": 0.55},
    {"type": "退款权限", "score": 0.31},
    {"type": "简单查询", "score": 0.93},
]

hard = [row for row in traffic if row["score"] < 0.60]
priority = Counter(row["type"] for row in hard).most_common()

baseline = {"quality": 0.82, "safety": 0.98, "cost": 1.00}
candidate = {"quality": 0.86, "safety": 0.98, "cost": 0.72}

def promote(old, new):
    return (
        new["quality"] >= old["quality"] + 0.02
        and new["safety"] >= old["safety"]
        and new["cost"] <= old["cost"]
    )

print("hard_cases:", priority)
print("promote:", promote(baseline, candidate))
assert priority[0] == ("库存范围", 2)
assert promote(baseline, candidate)

本次已用Python 3.9实际运行，两条断言通过，优先难例为“库存范围”，候选允许晋级。它只验证数据筛选和门禁逻辑，没有运行PyTorch训练、vLLM服务或Shopify数据，不能虚构为模型复现。

生产门禁还要按任务类型拆分，不能只看一个总分。若退款权限样本很少，它在平均值里几乎没有声音，却可能造成最高风险。应为高风险类别设置最低通过率和零容忍规则，同时保留时间切分测试：训练使用较早流量，验收使用更新且未见过的窗口，避免把重复会话记住后误判为泛化提升。