# Tesla AI Day 2021 全程回顾 > - 原标题:Tesla AI Day 2021 - 时间:2021 年 - 频道:Tesla - 网页版:https://elon.ruinews.com/ep/tesla-ai-day-2021/ - 精读字数:约 14410 字(阅读约 32 分钟) > 本文为 elon.qiaomu.ai 基于原始视频与文稿的 AI 改写中文精读,非官方翻译;引用请注明出处并链接网页版。 一辆半挂车在高速上行驶,特斯拉车身上的 8 个摄像头里,它可能同时出现在其中 5 个画面中。每个摄像头只能拍到它的一部分,车头、车厢中段、车尾、侧面,或者后视镜里的一角。 2021 年的 Tesla AI Day 上,视觉团队负责人 Andrej 用这个场景解释了一件事:整套感知架构必须推倒重来。 在那之前,特斯拉的感知是逐摄像头的。每个神经网络只看自己那张图,输出预测,再由一个 C++ 模块把各摄像头的预测缝合起来,跨越摄像头边界,按时间叠加。 智能召唤功能很快把这条路堵死了。5 个独立网络各自猜测这辆半挂车的尺寸、朝向和位置,再想办法融合成一个结果。融合出来的东西没法看。 更麻烦的是投影。车道线和路缘在原始图像上画得很准,一投影到鸟瞰图就扭成一团。要让这个投影成立,每个像素的深度都得准到离谱的程度。被遮挡的地方更麻烦,图像空间里根本没有对应的像素,网络无从预测。 马斯克上台时的第一句话定了个调:**特斯拉远不只是一家电动车公司**。接下来三个多小时,视觉、规划、标注、仿真、芯片、超算六个团队轮流上台,把这句话拆成了具体的工程量。 ## 从一只人造动物说起 Andrej 描述他们在做的事:从零开始造一只合成的动物。 车身是躯体,线束是神经系统,Autopilot 是大脑,视觉网络是皮层。他说得很认真:光线打到视网膜,经过 LGN,传到 V1、V2、V4,分成腹侧流和背侧流,信息是按特定布局组织的。设计车的视觉皮层时,要决定的其实是同一件事,信息在网络里怎么流。 四年前的网络长这样。1280×960 的输入,12 位整数,每秒 36 帧,先过一个 RegNet 主干,输出一组多尺度特征。最底层分辨率高、通道少,神经元盯着很小的图像块;最顶层分辨率低、通道多,每个神经元能看到大半幅图。 中间接特征金字塔,让不同尺度互相通信。Andrej 举的例子很形象:底层有个神经元盯着一个小块,不确定眼前是不是车。如果顶层告诉它“你正处在高速公路的消失点附近”,判断一下子就容易了。 金字塔之后接任务头。检测头是 YOLO 式的一阶段结构,初始化一个栅格,每个位置一个二进制位表示有没有车,再挂上 x、y、高度偏移、车型这些属性。 问题很快冒出来:要做的任务远不止检测车。红绿灯、车道线、路缘、锥桶、垃圾桶,全都要。于是他们改成共享主干加多分支,起了个名字叫 HydraNet,九头蛇网络。一个身体,好几条脖子。 这个结构带来三个实打实的好处。**推理成本被摊薄**,车上跑一次主干,所有任务共享。**任务之间解耦**,改某个头的数据集或者结构,不需要把其他任务全部重新验证一遍。**特征可以缓存**,多尺度特征存到磁盘,微调时只从缓存特征往上训练头。他们的工作流是:端到端训一轮,缓存,微调一阵,再端到端训一轮。 但这套东西在智能召唤上线时碎了。 ## Transformer 把像素搬进三维空间 先是调参的问题。那个负责缝合摄像头边界和时间的 C++ 模块叫 occupancy tracker,超参数极多,手调极其痛苦。工程师真正想要的是把这些东西全部塞进神经网络里,端到端训练。 再是输出空间的问题。图像空间本来就不是正确的输出空间。Andrej 放了一组对比图,路缘和车道线在原始图像里画得严丝合缝,投到向量空间立刻变成一团废线。 他的结论很直接:所有图像同时喂进一个网络,直接输出向量空间。 说起来一句话,做起来是两座大山。第一座:怎么造出能完成这个变换、而且可微的神经网络组件,让端到端训练继续成立。第二座:向量空间的预测需要向量空间的标注,光给图像打标签是不够的。 第一座山的解法是 Transformer 加多头自注意力。 流程是这样。先初始化一个和目标输出空间同样大小的栅格,用 sin/cos 位置编码铺满,再通过一个 MLP 编码成一组 query 向量。同时,所有图像的特征发出各自的 key 和 value。query、key、value 一起进多头注意力。 Andrej 的解释很通俗。每个图像块在 key 里广播的是“我是这个位置一根柱子的一部分,我看到了这些东西”。每个 query 说的是“我是输出空间这个位置的像素,我在找这类特征”。key 和 query 相乘交互,value 就被相应地拉过来。 实际效果是,一个 Transformer 块就能承担大部分工作。 视频里放了对比。左边是旧方案的输出,右边是多摄像头网络直接从神经网络里预测出的向量空间,效果基本是昼夜之差。这个结果已经能直接在上面开车了。 目标检测也跟着受益。两个车在很近的距离擦身而过,摄像头边界处的预测会剧烈抖动,大车尤其明显。多摄像头网络在这些场景里稳定得多。还有那种只露出一条缝的车,单摄像头根本没法预测位置,多摄像头网络没有这个问题。 ## 每辆车都“有点歪” 工程上还有一个容易被忽略的坑:所有车的摄像头安装位置都有细微差异。做图像空间到输出空间的变换时,摄像头标定必须准确,而且必须想办法喂给网络。 朴素的做法是把 8 个摄像头的标定参数拼起来,用 MLP 编码进网络。他们试了,但效果不是最优。 更好的做法是加一个整流的虚拟相机层。这个层是相机标定的函数,把 8 张图全部转换成一个合成虚拟相机的视角。效果可以这样看:把后向 repeater 相机的大量图像取平均,不做整流会得到一张糊掉的后视镜,做了整流之后,后视镜边缘变得非常锐利。 这个改动不算大,性能提升相当可观。 ## 给网络装一段记忆 多摄像头解决了空间问题,时间问题还悬着。 有一大批预测必须要视频上下文才能做。这辆车是停着还是在动,速度多少,刚才被挡住了现在还在不在,前方道路的几何形状。Andrej 说得很具体:要预测前方路口的车道走向,50 米之前看到的那块路牌和标线非常关键。 他们在多尺度特征和任务头之间插了两个模块:feature queue 和 video module。 feature queue 负责把特征随时间缓存下来,同时把车辆的 kinematics 也编码进去。这里有个细节值得说:他们做了两种队列。 **时间基准队列**,比如每 27 毫秒进一帧。车被临时遮挡,网络可以回头看记忆,知道刚才那里有东西。 **空间基准队列**,车每行驶固定距离进一次。为什么需要这个?假设你在等红灯,路口的车道线是 30 秒之前看到的,纯时间队列早就把它忘了。空间队列能保证关键信息不会因为等待而丢失。 video module 的选择花了点功夫。3D 卷积、Transformer、轴向 Transformer、各种变体的循环神经网络,都试过。最后他们比较中意的是空间循环神经网络。 设计的出发点是:车在二维路面上跑,那就把 hidden state 组织成一个二维点阵。车在路上移动时,只更新离车近的、有可见性的那一块。位置通过 kinematics 积分进网格。 训练完之后有个细节挺有意思。点阵里不同的通道自己学会了追踪不同的东西,有的追踪道路中心,有的追踪边缘,有的追踪路面材质。 Andrej 说,这相当于一张画在特征空间里的 HD 地图。区别在于它的组成单位:显式的路段和标线条目被 RNN 的隐状态取代了。多个车、多次经过同一地点的 clip 可以协作,共同把这张图建出来。 视频记忆对目标检测的提升也很直观。两个车开过来挡住前方停着的车,单帧网络会直接丢掉目标,视频模块能把它们保持住。只露出一部分的时候,单帧网络被迫给一个很烂的猜测,视频模块知道这一刻信息不足,干脆不采信。 移除雷达的那一轮,视频模块的速度估计几乎追平了雷达信号。单帧网络靠深度差分算速度,误差明显更大。 完整架构堆起来是这样的:原始图像,整流层,RegNet 主干,特征金字塔,Transformer 转成向量空间,feature queue,空间 RNN,HydraNet 的各种任务头。 Andrej 提了两个正在做的改进:融合时机偏晚,能不能在更靠底部的层做代价体积或者光流;输出是稠密栅格,后处理在车上的开销很大,他们在研究直接输出稀疏结构,比如逐点预测。 ## 规划:非凸和高维的两难 拿到向量空间之后,规划控制组接手。负责人 Ashok 说,规划有两个本质难点。 **第一,动作空间非凸。**可能有多个分别不错的解,但找到一个全局一致的解非常难,规划器容易卡在某个局部最优里出不来。 **第二,维度极高。**车要规划未来 10 到 15 秒的位置、速度、加速度,运行时需要生成的参数量非常大。 这两件事把两类经典方法各自逼进了死角。离散搜索不怕非凸,因为它不靠梯度,不会卡在局部最优,但它是离散的,用不上梯度信息,只能逐个点去探索,维度一高就崩。连续优化反过来,梯度一导很快就到好解,但非常容易陷进局部极小。 他们的解法是分层。先用离散搜索把非凸性压下去,搜出一个凸走廊,再在这个走廊里做连续优化,生成平滑轨迹。 举例:车要在路口前连续变两次道,然后左转。搜索会试上千种操作。第一次试的是就近变道,车会急刹,很不舒服;第二次试稍微晚一点变,加速超过旁边的车,在它前面变道,但这样可能赶不上左转。上千次这样的搜索在极短时间内跑完,最后按安全、舒适、能顺利完成左转这三个条件挑一个。 实际执行时,规划轨迹和真实速度曲线基本吻合,10 秒的规划能对上。 更关键的一点是联合规划。路上的其他车不能当成静态障碍物,要跑同一套 planner 在它们身上。 视频里有一段窄道会车的场景。自动驾驶绕开路边的停车和锥桶往前走,迎面来一辆车。自动驾驶先减速,然后判断自己这边没有避让空间,对方可以靠边,于是有底气地继续往前。第二辆来车速度更高,自动驾驶给这辆车也跑了一遍 planner,算出它的方案是绕过它那一侧的停车再回到自己车道。同时算法维护多个可能的意图,绿色的是对方让行,红色的是对方强行通过。因为对方速度和加速度都很高,系统判断它多半会走红色那条,于是选择先靠边。靠边的过程中观察到对方的横摆角和加速度变化,确认对方选择了让行,立刻改主意继续走。 Ashok 的解释很到位:如果不对其他车辆做规划,自动驾驶会过于胆小,根本没法当一辆实用的车。 最后一步是连续优化。以凸走廊为约束,用弧长参数化的样条曲线作为初值,不断微调降低总成本。成本项包括离障碍物的距离、通过时间、舒适度。舒适度可以从右侧的图上看出来,横向加速度是漂亮的梯形,和人类驾驶员录下来的曲线很接近,横向 jerk 也被压到很低。 ## 288 个节点,对比 40 万个节点 人工设计启发式函数这条路是有天花板的。Ashok 用一个停车问题把差距量化了。 蓝色是本车,绿色是目标车位,橙色是路缘、停车和锥桶。 标准的 A* 加欧氏距离启发,车会径直朝目标冲,很快撞进局部最优,然后回溯,再去试别的路径。最终能到,但用了 40 万个节点。 加上导航路线,让搜索沿着导航走、同时靠近目标,好一些,但遇到锥桶还是得回溯。2.2 万个节点。 继续设计更精细的启发式当然可以,但这是无底洞,而且很难设计出全局最优的那一个。 换成神经网络提供价值函数,再接上蒙特卡洛树搜索。神经网络能吸收整个场景的全局上下文,直接给出一个有效的价值估计,引导搜索走向全局最优。同一个停车问题,288 个节点。差了三个数量级。 Ashok 把这个问题比成多人版雅达利游戏。视觉网络把稠密视频压成向量空间,车和行人都在里面移动,这本身就是一个游戏状态。AlphaZero 和 MuZero 那一套方法可以直接搬过来。 最终架构是显式规划和神经网络规划并行。视觉系统输出的向量空间同时喂给两边,神经网络规划器还可以吃网络的中间特征。两边一起产生轨迹分布,训练信号混合显式成本函数(距离、碰撞、舒适、通行时间)和人类驾驶干预数据。轨迹分布再交给显式规划器做它擅长的部分,最终输出转向和加速度指令。 ## 一千人的标注队伍 回到 Andrej 的话:神经网络只决定性能的上限。几亿个参数,如果设置不对就是一堆废物。真正把这些参数训练到正确位置的是数据。 而他们需要的,是直接落在向量空间里的数据。 四年前,数据标注是外包给第三方的。很快发现这条路走不通。关键任务的外包延迟极高,质量也说不上好。于是按特斯拉一贯的垂直整合思路,全部收回自建,长成了一支一千多人的专业标注团队,和工程师在同一片办公区办公,标注基础设施也是自己从零搭的。 早期的标注在图像空间里做,画多边形和折线,效率极低。后来升级到三维、四维标注,直接在向量空间里改,改完再重投影回各个相机图像。吞吐量涨了一大截。 但他们很快意识到,光靠人也不够。人和计算机各有所长:人非常擅长语义判断,计算机非常擅长几何重建、三角化、跨帧追踪。真正的答案是把两者放进同一条流水线里。 ## 服务器可以“作弊” Ashok 接着讲自动标注。一个 clip 是一段 45 秒到一分钟的密集传感器数据,视频、IMU、GPS、里程计全都包含,来源可以是工程车也可以是用户车。这些 clip 上传到服务器,先跑一大堆离线神经网络,得到分割掩码、深度、点匹配等中间结果,再经过一整套机器人算法,产出最终标签。 路面重建用了隐式表示。传统的样条或者网格受拓扑限制,不可微,不好优化。他们参考了 NeRF 的做法,在地面上采样 xy,让网络预测这个位置的高度 z 和语义,比如这里是不是车道线、路缘、路面。一个 xy 加上预测的 z 构成一个三维点,投影回 8 个摄像头,和图像空间的分割预测对比。数百万次采样,跨相机、跨时间联合优化。 一个车开过一段路,只能扫出轨迹附近的一小片。他们就把 16 段不同行程的 clip 放进一个巨大的优化里,用车道线和路缘这类特征对齐,让它们互相吻合,同时和各自的图像观测吻合。这样标注不局限于车开过的地方,周边也能覆盖到。 静态障碍物的三维重建也有个亮点:不需要纹理。传统上跨帧匹配要依赖纹理做关联,在路面和墙面这种弱纹理区域很难做。他们的方法能在这些地方也产出点云,对任意障碍物的标注都很有用。规划这边离不开这个东西,因为只要曾经见过一次,就必须一直把那个人记在账上。 离线处理有一个车上永远拿不到的优势:能看见未来。 在车上,网络只能用历史推断速度。在服务器上,历史帧和未来帧都在手里,可以直接“作弊”,给出精确的 kinematics。遮挡后的轨迹关联也变得简单:知道未来,就能把断掉的轨迹接回去。视频里几个行人在多辆车遮挡之后依然被正确关联。 目标是产出一百万个这样标注的 clip。 移除雷达项目是最好的案例。三个月内完成。早期网络在恶劣天气下会失效,比如前面一辆卡车扬起大片雪雾,几乎看不见,但逻辑上该记得前面有辆车。车队被派去收集类似场景,自动标注流水线一周处理了 1 万个 clip,同样工作量交给人工要几个月。他们在 200 种不同的恶劣条件下做了同样的事。 训练完之后,雪雾里那辆车被记住了。 ## 在仿真里造一台 Cybertruck Ashok 在台上放了一段 Cybertruck 跟着车流走的片段,问观众:这段视频哪来的?有人猜对了,是渲染的。 细节做得非常足。地面上有裂缝、有接缝、还有后期补上的沥青补丁,看着就很旧;卡车是铰接的,转弯时后轮会压过路缘;其他车行为合理,会避让、会绕行、加速平滑、刹车平滑;画面上方那辆带标志的车是 Autopilot 自己在开,正在做一个不保护的左转。 仿真从向量空间起步,所以标签是完美的。他能列出一堆现成的标注:车辆的三维框加运动学、深度、表面法线、分割。Andrej 下周想要一个新任务,代码写起来很快,因为底层的向量空间已经在了。 仿真什么时候值得用?Ashok 给了三个判据。 **数据难获取。**再大的车队也收集不到某些极端场景,比如一对夫妻带着狗在高速上跑,旁边还有其他高速行驶的车。 **数据难标注。**几百个行人同时过马路,人工标注要几小时,自动标注算法也很难把关联做对、速度算准。仿真里这些都是现成的。 **闭环行为。**数据本身取决于车的动作,这种只有仿真能给。 要让这一切成立,传感器仿真必须精确。摄像头的噪声、运动模糊、光学畸变、车灯透射、挡风玻璃的衍射花纹,全都要建模。这些模型不只用在软件上,也直接用于硬件决策,比如镜头设计、相机设计、传感器布置。 渲染要真实,游戏行业说的“锯齿”是致命的破绽,所以要花大力气做时域抗锯齿,同时上光线追踪做全局光照。资产库有几千个模型,能换衣服,动作合理。已经建了 2000 英里道路,差不多是美东到美西的距离,单个美术一天能再造几英里。但大部分训练数据其实是程序化生成的,靠曲率、树木、锥桶、车辆速度和交互的参数组合,源源不断地产出。 更聪明的一步是用机器学习找网络的失败点,在失败点周围生成更多数据,形成闭环。 他们还做了失败回放。一个真实 clip 经过自动标注,重建出三维场景和所有运动物体,加上原始视觉信息,合成出一模一样的仿真环境。让 Autopilot 在这里面重跑,可以跑出完全不同的结果,把一次失败变成一个训练样本。再叠加神经渲染,画面几乎和真实相机拍的一模一样。 到 AI Day 为止,训练已经用掉 3 亿张图片、接近 5 亿个标签。 ## Dojo:一块芯片,100% 给机器学习 Milan 先给了一个数量感。移除雷达那一轮,覆盖 250 万个 clip,生成了超过 100 亿个标签,动用了数千块 GPU、接近 2 万台 CPU,还把 2000 多台真实的 FSD 计算平台接入仿真环路。他说这是他手上最小的一个计算集群。 上车有两个硬约束:延迟和帧率。这关系到安全,也关系到对周围加速度和速度的准确估计。核心难点在 AI 编译器,把 PyTorch 模型的计算图映射到专用加速硬件上,同时排出一个吞吐最优的调度,还要在极其紧张的 SRAM 预算下工作。FSD 计算机上有两个引擎,任何时刻只有一个向车辆输出控制指令,另一个当算力扩展用,硬件层面和软件层面都可以互换角色。 评估规模是每周超过 100 万次,跑在 3000 多台 FSD 计算平台组成的专用集群上。训练算力接近 1 万块 GPU,比全球排名前五的公开超算加起来还多。 然后 Ganesh 上台讲 Dojo。 他的开场很直接:训练算力的需求是无止境的。几年前马斯克让他们造一台超快的训练计算机,于是有了这个项目。目标是 AI 训练性能最强,同时能效和成本都可控。 架构选了分布式二维网格。所有训练机器本质上都是分布式的,算力容易扩,带宽极难扩,延迟几乎扩不动。所以设计从延迟和带宽出发,反推节点大小。 节点大小的选择很讲究。太小,同步开销会盖过计算;太大,硬件实现复杂,最终撞上内存带宽瓶颈。他们的做法是:取信号在 2GHz 以上时钟下能跑过的最远距离,画一个框,用线把这个框塞满,这代表能喂进去的最高带宽,然后在下面放机器学习计算单元、一大块 SRAM,再加一个可编程核心负责控制。最小的训练节点就这么定下来了。 这个节点是一个 64 位超标量 CPU,围绕矩阵乘单元和向量单元优化,支持 FP32、BF16 和一个新的可配置 FP8 格式,带 1.25MB 的 ECC 保护 SRAM,单节点算力超过 1 TFLOP。它有四个硬件线程,自定义指令集为机器学习负载做了优化,转置、gather、链路遍历、广播这些都是原生指令。 354 个这样的节点拼成一个计算阵列。阵列周围围了 576 个高速低功耗串行解串器,芯片对外的 IO 带宽是当下最先进网络交换芯片的两倍多。网络交换芯片通常被认为是 IO 带宽的金标准。 这就是 D1 芯片。7nm 工艺,500 亿晶体管,645 平方毫米。整个芯片面积 100% 用于机器学习训练和带宽,没有暗硅,没有历史包袱式的兼容逻辑。从架构到 GDS 到封装,全部由特斯拉内部完成。 Ganesh 给了它一个定位:GPU 级别的算力,CPU 级别的灵活性,两倍于网络交换芯片的 IO 带宽。 ## 九个 petaflop 拿在手里 1500 个 D1 无缝连起来,就是计算平面,包含 50 万个训练节点。两端接上 Dojo 接口处理器,一边是 PCIe Gen4 连主机,一边是高带宽 fabric 连计算平面,同时提供共享的高带宽 DRAM 和更高基数的网络连接。 系统的基本单位是训练瓦片。做法是把 25 颗经过测试的 D1 裸片集成到一片扇出晶圆上,保持裸片之间的带宽不被削减,再配一个高带宽高密度的连接器,把带宽原封不动地引出来。 Ganesh 说这大概是芯片行业里最大的有机多芯片模块。设计过程非常痛苦,因为工具根本不存在,连他们的计算集群都跑不动。工程师自己造了新方法才做出来。 供电也重新做了。他们做了一个定制的电压调节模块,可以像贴片元件一样直接回流焊到扇出晶圆上,再把 PCB 级的回流工艺和扇出晶圆工艺接起来。电气、散热、机械全部集成在一个瓦片里,52V 直流输入。 整个计算平面与供电、散热完全正交,这是让高带宽计算平面成立的关键。 一块瓦片 9 PFLOPs。Ganesh 举着它说了一句:真不敢相信我手里拿着九个 petaflop。就在上周,第一块能工作的训练瓦片在有限的台式散热条件下跑起了网络。他还补了一句,Andrej 说过,除非能跑起他自己做的东西,否则他不信。于是他们跑了 minGPT-2。 往上堆:2×3 块瓦片一个托盘,两个托盘一个机柜,100 PFLOPs。十个机柜拼成一个 ExaPOD,1.1 EFLOPS,超过 100 万个训练节点,瓦片之间带宽无损,没有衰减也没有截断。 软件栈是另一条腿。编译器负责提取细粒度并行,做数据并行、模型并行、图并行,还会做降低内存占用的优化。高带宽 fabric 让模型并行可以突破单芯片边界,扩展到训练瓦片甚至更大范围,这意味着大模型可以在低 batch size 下高效映射。编译器还能处理循环、if-else 这类动态控制流,PyTorch 扩展保持 ML 科学家熟悉的接口,LLVM 后端生成硬件二进制,不需要一行手写 kernel。 对比数据:同等成本下 4 倍性能,每瓦性能 1.3 倍,占地小 5 倍。 马斯克后来给了一个很清晰的验收标准。 > Dojo 成功的标志是,软件团队主动想关掉 GPU 集群。如果他们还想继续开 GPU,那就不算成功。(马斯克) ## Tesla Bot 和劳动力无限的经济学 最后一段是马斯克自己讲人形机器人。 他的论证起点是:特斯拉大概是世界上最大的机器人公司,因为车本身就是轮子上的半感知机器人。既然有 FSD 计算机当推理引擎,有 Dojo 当训练机器,有一堆神经网络在理解世界、在世界里导航,那把这一整套放进一个人形躯壳里就很自然。电池、传感器、执行器,特斯拉也都熟。 明年可能会有原型。身高 5 尺 8 寸,头部是一块屏幕,装了 8 个摄像头和 FSD 计算机,用和车上完全一样的工具链。他讲了一句让人笑了的话:设计上你可以跑得比它快,机械层面大概率也能制服它。希望永远不会用到。 定位是替代危险、重复、无聊的工作。他给的场景是:你指着地上一个螺栓说,把它拿起来,用那把扳手装到车上,它应该能完成。你说去商店帮我买这些东西,它也应该能去。 然后是那段关于经济的论述。 > 如果你问经济是什么,它的底层是劳动力。资本设备本质上只是蒸馏过的劳动力。那么当劳动力不再稀缺,经济还有什么真正的上限吗?(马斯克) 他的推论是长期需要某种形式的全民基本收入。但在机器人真正能干活之前,这件事不用急。再往后,体力劳动会变成一种选择,想做就做,不做也能活。 ## 问答:从 HW4 到 AI 对齐 现场提问持续了一个多小时,信息量不小。 关于开源。马斯克说造这套系统极其昂贵,全开源的话不知道谁来付钱。但其他车厂如果想授权使用,特斯拉是欢迎的,这套东西从一开始就不打算只服务于特斯拉自己的车。 关于 Dojo 编译器是不是已经解决了扩展问题。Ganesh 答得很实在:还没解决,但有信心解决。原型硬件上已经跑起了网络,性能模型显示了扩展路径。难点正是提问者说的局部性,只要模型并行和数据并行能做到足够多,把大部分通信限制在局部,参数能装进 SRAM 工作集,就能继续扩。 关于仿真会不会扩展到公司其他部门。仿真负责人 Ian 说,走向全自动驾驶的过程中,车辆动力学、电池管理、整车控制器都要进仿真,这会让这套平台在 Autopilot 之外也有用,最终目标是通用仿真平台。 关于不同国家怎么迁移。马斯克说训练数据来自大约 50 个国家,但要解决难题,得先挑一个国家打透,因为特斯拉在美国,就先解决美国。加拿大的路看着像,其实差别够大,现在不想额外增加复杂度。Andrej 补充说计算机视觉组件本身对国家不敏感,路缘、车、道路这些概念是通用的。马斯克加了一句最高指令:别撞上。哪怕高速上掉下来一个 UFO,也不需要认识它才能不撞它。 关于几何精度。有人问多视角重建的误差有多大,答:标准差通常在 3 到 4 厘米。马斯克说目标是厘米级的定位精度,近处更准,远处可以松一些,因为远处不需要那么早做决策。 关于一体压铸和制造。有人问“外星无畏舰”那套全自动化制造理念是不是被放弃了。马斯克说有些环节几乎全自动,有些环节几乎全手动,走完整条产线会看到非常宽的分布。但绝大部分已经自动化了。 他顺势讲了车身工艺的变化。改成大型铝高压压铸之后,整个后三分之一车身可以一次铸成一个零件,前三分之一也这么做。车身产线的尺寸因此缩小了 60% 到 70%。 有人把这理解成机器人在替代产线工人,马斯克纠正了:Optimus 不是被制造需求催出来的。逻辑是反的。反正要造人形机器人需要的那些零件,那就干脆造一个。而且如果特斯拉不造,别人也会造,所以还是自己造,并且确保它安全。 他补了一句关于制造的判断:量产制造极其困难,而且被严重低估。这话对 Optimus 同样成立,如果造出来贵得离谱,那它就没有意义。 ## 一立方英尺里的九个 petaflop 关于散热和供电,Dojo 工程师 Bill 给了答案。整个瓦片上下两面都是液冷,接上电、接上冷却,就同时完成通电和散热,整套东西体积不到一立方英尺。 马斯克补充了这套能力的来源。特斯拉在电力电子和散热上有大量积累,车用动力总成的电力电子技术、为功率器件开发的先进散热方案,直接搬到了超算上。他讲了个容易被忽略的细节:计算芯片工作在不到 1 伏的电压下,电压低意味着电流大,电流大意味着发热多,真正咬人的是 I²R 这一项。 有提问者关心 Dojo 会不会下放到车端推理。Andrej 答得很清楚:Dojo 会服务于所有模型,包括大量根本不进车的模型,比如自动标注、仿真里的那些。这些模型的输出最终会喂养车上的推理引擎。Dojo 的第一个应用是消化视频数据做训练,这是它最合适的场景。 马斯克从更抽象的层面解释了为什么要自己造芯片。GPU 从来不是为训练神经网络设计的,只是恰好被用得比较高效,本质上仍在用模拟的方式跑神经网络训练。Dojo 的做法是把整件事 ASIC 化,只为一个目的建造。**为特定目的设计的系统,一定优于为通用目的设计的系统。** ## 端到端是一条路,不是一步 有人问,视觉和规划现在分成两个系统,Dojo 能不能训练跨越这条边界的网络,车上的算力够不够跑。 Andrej 说能,而且训练平台本身无关紧要。他还提到一个和直觉相反的可能:端到端之后速度反而更快。现在要在中间解码大量稠密栅格,很多计算是浪费的。端到端可以直接跳过这些中间表示,只解码开车真正必需的东西。 Ashok 补充了方法论。端到端一直是指导原则,现在两边的接口是向量空间,但没有什么根本性的东西阻止把特征接过去做联合微调。真正需要想清楚的是:**哪些模块该被放进网络架构里。** 他举了自己这边的例子。感知这一侧,他们把空间 RNN 放了进去。规划这一侧,同样要把搜索和优化烘焙进网络结构,这样才能像 C++ 算法一样快速规划。 被问到有没有更适合凸优化或者模型预测控制的硬件架构时,Ashok 给出了混合系统的判断:把神经网络块和基于物理的块放在一起,已经知道怎么精确算的部分就用显式方法,剩下的交给网络去优化。这就是他们要走的方向。 马斯克给了另一个视角。只要环视视频的神经网络足够好,能把画面转成向量空间,你手上就等于有了一个电子游戏。他说得很形象,就像《侠盗猎车手》里那样,你可以让车流走起来、行人绕开障碍不撞上。**控制和规划不一定非得用神经网络。**但长远看,用了会更好。他也确认了自己的判断:靠 C++ 做控制和规划、靠神经网络做感知,已经能做到比人类安全得多。 ## “除非你不得不用机器学习,否则别用” 有提问者问特斯拉在制造和工程流程里有没有用机器学习。 马斯克的回答值得原样记下来: > 我劝大家少用机器学习,因为它真的很难。除非你不得不用,否则别用。有人跑来说“我们想用机器学习解决这个问题”,这通常是个危险信号。99.9% 的情况下你根本不需要它。(马斯克) 他承认这个判断可能会被人形机器人改变,因为那类需要理解自然语言指令的场景确实绕不开。但在工厂里,他的态度是最小化使用。 这段和整场发布会的基调构成一个有意思的反差。同一批人在三个小时里展示了全世界最大规模的神经网络训练体系,然后告诉你绝大多数问题不该用神经网络解决。 ## 仿真器的三层结构 关于仿真用了什么技术,回答很坦诚。最底层就是传统游戏技术,实时光栅化,和 GTA 那类东西相似。往上是实时光线追踪,这部分的成果是昨晚才跑出来的,演示画面底下那个小星号就是指这个。再往上是神经渲染,还在探索阶段。 他们的目标说得很明确:**让模型永远无法在仿真器上过拟合。**神经渲染是最后那颗樱桃,把真实度推到网络分辨不出来的程度。 目前做的接近那篇 photorealism enhancement 论文的思路,但他们能做的比论文多得多。标注数据更多、算力更多、对环境的控制更强,还有一批人专门保证它能实时运行。理想状态是完全用仿真训练一切,但马斯克说这永远不会成为必要,因为真实世界的数据量没人比他们多。 仿真存在的意义是填缝。真实世界里出现过的怪事,挑几个样本,造一千个变体,把那一类空白补上。 有提问者追问仿真到真实的域适应。仿真负责人说,目前的仿真视频是直接拿去训练的,但只占数据集里很小的一块,而且是有针对性的片段,评估永远只用真实视频。他们已经把车上同一套网络重训成“仿真 vs 真实”的判别器,用来指导美术决策。**到目前为止没有出现过拟合仿真的问题**,但随着数据规模上去,迟早会有,那时候就得靠神经渲染把这个边界推得更远。 马斯克把整套逻辑收在一个概念上:九的进军。从 99% 安全到 99.9%,再到 99.999999%,每多一个九,难度提升一个数量级。而且这里有个残酷的自反性:**车越擅长避免事故,事故样本就越少,训练集就越小。**所以他们不得不在仿真里制造事故,设定场景,5 米距离,20 米每秒,做什么动作能让伤害概率最小。还得模拟逆行车辆,那种情况偶尔发生,但不够频繁。 ## “计算机快,人类慢” 有人问自动驾驶怎么在乘员安全和行人安全之间做取舍。 马斯克的回答绕开了伦理框架,直接讲物理:从计算机的角度看,世界上所有东西都移动得很慢。人觉得快,机器不觉得。所以这个两难在现实中出现的概率很低。会发生,但极其罕见。 他给了一个对照。60 帧每秒、完全光追、还叠加神经网络增强的画面,人手工渲染一帧要一个月,还未必没有错。计算机一秒做 60 帧。火箭也是同一个道理,他们当年接了个摇杆想让人手动操控入轨,需要 6 到 7 赫兹的反应频率,没人做得到。 关于硬件。马斯克说 FSD 计算机(HW3)足以实现远超人类的安全水平,具体数字他给了 200% 到 300% 更好。下一代硬件大概会随 Cybertruck 推出,也许一年左右,能力大约 4 倍。硬件代际更替带来的提升是有上限的,更难的题目在另一头:**能不能把安全水平从 300% 提到 1000%**。他还补了一句让人踏实的话:路上开车的什么人都有,你不需要是全世界最好的司机才能上路。 关于对抗性攻击,比如有人举着印了停车标志的 T 恤去闪车。马斯克说自己就有这么一件 T 恤,试过,车会停下来。这类攻击一旦被发现,就把对应样本拿去训练,让网络学会判断“这是穿着 T 恤的人,衣服上有停车标志,大概不是真的标志牌”。 ## 不确定性与影子模式 规划怎么处理不确定性,Ashok 拆成了几层。 首先是多模态未来。不是给周围每辆车挑一个最可能的意图,而是同时保留多种可能,用物理和运动学判断对方在做出干扰我们的动作之前还有多少余量,然后才行动。有疑问就保守让行。但保守有上限,太保守的车没人愿意坐,某个点上必须果断,而果断之前要确认对方有能力让行、并且行为合理。 第二层是影子模式。任何新东西进车队之前,先在后台跑一遍,看这套网络在这个场景里会怎么做。驾驶员实际上一直在训练网络。**如果网络会往右打方向,而人往左打了,这个差异就是一条宝贵的数据。**当然前提是人没撞车,撞了就不算。 第三层是不确定性估计,比如 flickr 这类指标。一旦判断自己看不清,就减速,先获取信息再行动。用马斯克的话说,理想状态是**车开多快与它有多确信成正比**,知道得越少开得越慢。 有人问,如果只能改进一个组件,哪个收益最大。马斯克说这是个曲线下面积的问题,改任何一处都会抬高整条曲线。短期最明确的是让所有网络都用上环视视频,现在还有一些遗留网络是单帧的,正在快速改。但他强调,比技术更缺的东西在别处: > 很多拼图已经齐了,缺的是更多强的人来把这件事做成。这也是我们办这场活动的真正原因。(马斯克) ## 关于遗忘、对齐和那个电梯比喻 关于灾难性遗忘和在线持续学习。Ashok 说他们没怎么碰到文献里那些问题,因为压根没做太多持续学习。流程是训练、在若干场景上验证、广泛评估、确认稳定,然后推送到车上。**要进车队的东西必须是可被大规模评估的稳定物。** 但个性化会有。马斯克举的例子很生活化:就像你对 Uber 司机说的那些话,我赶飞机,麻烦开快点;或者不着急,慢慢来。驾驶风格会成为设置项。 关于 AI 对齐。马斯克没有回避: > 我们应该对 AI 感到担忧。这里我们在做的是窄 AI,让车开得比人好,让人形机器人能做基础的事情。一旦开始触及超人类智能,那就不好说了。(马斯克) 他给特斯拉定的目标是做出有用的、人们喜欢的、明确是好的 AI。 最后一段关于相机的提问,他顺势给出了一个物理直觉很到位的类比。有人问摄像头相比人眼太粗糙,有没有考虑事件相机。 马斯克说,HW4 会有下一代相机,但当前这代相机远没有到极限,用现在的相机和算力实现远超人类的安全,他有信心。然后是那个比喻: 以前的电梯是有操作员的,坐在那儿扳一个大继电器开关。人会累,会走神,偶尔犯错,把人切成两半。后来电梯自动化了,你走进一栋一百层的大楼,按下按钮,什么都不用想。 车会走同一条路。所有车最终都会是自动的。当然还会有人开汽油车、开手动挡,就像今天还有人骑马。 > 我相信未来的人回头看会说,天啊,我们居然得自己开车,这太不可思议了。(马斯克) ## 如果你只有半小时,该从这里切入 这场发布会的信息密度不均匀,三个多小时里真正有迁移价值的部分集中在几个判断上。给不同角色几条具体的路径: - **做感知或多模态的工程师**,直接看 Andrej 讲 Transformer 从图像空间转向量空间那一段。多摄像头融合、位置编码初始化 query、整流虚拟相机层,这三件事的组合是整场最扎实的工程细节,比任何综述都具体。 - **做规划控制的**,重点看 Ashok 用 A* 对比 MCTS 的那个停车问题。40 万节点降到 288 个节点,这个对比把“神经网络提供价值函数”从口号变成了可验证的数字。 - **做数据基础设施的**,把自动标注那一段反复看。利用离线能看见未来这一点做轨迹关联、做精确 kinematics,成本几乎为零,收益极大。这条工程直觉很容易被漏掉。 - **评估仿真方案是否值得投入的**,记住 Ashok 给的三条判据:数据难获取、数据难标注、行为闭环依赖车辆动作。三条都不满足,就不必上仿真。 - **做训练基础设施或芯片的**,看 Ganesh 讲节点尺寸怎么定的那一段。从延迟和带宽反推节点大小,再往上逐层放大,这个推导顺序比任何参数表都有价值。 - **任何打算“用机器学习解决问题”的人**,先看马斯克那段劝退。他的标准是:除非你不得不用,否则别用。把这句话贴在显示器上,能省掉大量返工。 - **判断这件事的时间表**,看九的进军这个概念。每多一个九,难度涨一个数量级,而越往后真实数据越稀缺。这意味着剩下的时间不是线性的,任何人给出的具体日期都值得打折。 最后一个建议更像提醒。这场发布会里技术含量最高的部分,在于他们反复承认难、承认没做完、承认要解决的问题还很多。Andrej 说架构还在演进,Ganesh 说编译器问题还没解决,马斯克说 99.9% 的情况下你不需要机器学习。 一个组织如果能在对外场合持续说这种话,它大概知道自己在做什么。