自动驾驶大模型开始统一看懂、建图和规划

自动驾驶模型常见的问题不是“看不见”，而是看见、解释和行动由几套系统各做一段，错误很难沿链路追查。可引用的核心判断是：驾驶大模型的关键进步，不是让语言模型直接握方向盘，而是让感知、解释与规划共享表示，同时保留可检查的中间接口。Qwen-Drive-1.0给出了一条值得研究、但距离量产仍很远的路线。

发生了什么

Qwen团队9月10日发布Qwen-Drive-1.0介绍。它以原生多模态的Qwen3.5-4B为主干，不改预训练VLM架构，外接两个模块：BEV感知头负责三维目标检测、语义占用预测和鸟瞰地图分割；Planning Expert读取共享表示，用流匹配生成车辆未来轨迹。

官方称，训练数据全部来自公开数据集，共283万条样本；规划输出覆盖未来5秒、频率10Hz。Qwen-Drive-1.0-SFT在其驾驶问答评测中的平均分为69.43。论文最早于8月31日提交arXiv，本次时效点是官方技术发布与更完整说明，而不是论文刚刚出现。

关键事实与证据

架构、数据量和评测数字来自Qwen官方技术文章，论文摘要可在arXiv原文交叉核对。两处都明确把它称为“initial step”。官方还承认，文字推理与生成轨迹之间的一致性仍需加强。

因此，69.43只能理解为作者设定评测中的驾驶问答成绩，不能写成道路安全率；开放环、伪闭环和闭环模拟成绩，也不能替代真实道路里对长尾事件、传感器故障和法规责任的验证。代码页写的是“将提供”，不应据此声称项目已经可完整复现。

技术原理：为什么要保留BEV这块“白板”

普通VLM擅长回答“前方有什么”，却未必能稳定输出车辆能直接执行的几何结构。BEV把多摄像头画面投到统一鸟瞰坐标，显式表示车、道路、占用区域和可行驶空间。它像一块中间白板：工程师可以检查模型是否看漏车辆、是否把路缘认错，而不是只等最终轨迹出错。

Planning Expert则是面向动作的扩散Transformer。它不是逐字写一段“左转理由”，而是在共享视觉语义表示上，通过流匹配逐步生成一组未来轨迹点。分阶段训练再把不同数据集的标签和轨迹格式统一，并混入通用视觉语言数据，降低只会驾驶题、却遗忘通用理解能力的风险。

一个具体场景

车辆接近被货车遮挡的路口。通用VLM可能正确描述“右侧视野受阻”，但规划还要回答：遮挡区是否可能出现行人、当前速度下应减速到多少、轨迹是否越过路缘。统一表示让语言解释、BEV占用和轨迹共享同一组视觉证据；显式BEV又允许测试人员定位，是遮挡推理错了，还是轨迹模块没有利用风险信号。

这个场景也揭示边界：文字说“应减速”不代表轨迹一定减速。模型必须额外检查语言结论与控制输出是否一致。

对开发者和普通人的影响

对开发者，这种架构把“端到端”从完全黑箱改造成带探针的共享主干。数据团队可以统一多数据集标签，评测团队可以分别测感知、问答、规划与跨模块一致性。对普通人，潜在价值不是车更会聊天，而是系统更容易解释“它看到了什么、为何给出这条轨迹”。

短期内，它更适合作为研究底座、仿真规划器或驾驶数据分析工具，而不是直接成为量产控制器。真正上车还要经过传感器冗余、实时性、故障降级和当地法规认证。

我的判断及依据

我的判断是，自动驾驶VLM的竞争会从“能否回答驾驶问题”转向“共享表示能否经得住闭环控制”。依据有两点：一是Qwen-Drive把BEV显式探针保留下来，说明几何可检查性仍不可替代；二是作者主动指出文本与轨迹一致性不足，说明语言能力并不会自动转化为可靠动作。

适用边界与风险

所有核心结果主要来自发布团队，尚需独立复现。公开数据集可能低估雨雪、施工、罕见交通参与者和地区交通规则差异。闭环模拟也可能存在仿真器偏差。即使模型平均成绩更好，极少数高后果错误仍可能决定系统能否部署。

今天就能执行的检查表

• 做驾驶VLM评估时，把感知、语言解释、轨迹和三者一致性分开计分。
• 用遮挡、逆光、传感器缺失和地图冲突建立长尾场景集。
• 回放时只给模型当时可见的信息，避免未来数据泄漏。
• 对每条危险轨迹保留BEV输出和输入帧，先定位错误发生在哪一层。
• 在代码与权重真正开放前，把官方结果视作待复现基线。

如果一套驾驶模型只能优先优化一种能力，你更看重可解释的三维感知，还是更稳定的闭环规划？

关注「蜗牛聊AI」，一起看懂技术变化背后的真正机会。