# 不认同马斯克：AGI 生存风险｜迈克尔·利特曼对话莱克斯·弗里德曼
> 
- 原标题：Disagreement with Elon Musk about existential risks of AGI | Michael Littman and Lex Fridman
- 时间：2021 年
- 频道：Lex Clips
- 网页版：https://elon.ruinews.com/ep/disagreement-with-elon-musk-about-existential-risks-of-agi-micha/
- 精读字数：约 6387 字（阅读约 14 分钟）
> 本文为 elon.qiaomu.ai 基于原始视频与文稿的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。
## 一句“召唤恶魔”，和一篇当面反驳的专栏

2017 年，马斯克在美国全国州长协会的会议上讲了一句话，后来被反复引用：

> AI 是我们正在召唤的恶魔。（马斯克）

台下坐着各州州长。他们原本担心的是就业、税收、道路、学校。马斯克告诉他们，你们担心错了方向，你们应该非常非常担心 AI。

迈克尔·利特曼（Michael Littman）住在罗德岛州的普罗维登斯。他在报纸上看到这条新闻，随后写了一篇专栏回应。他是布朗大学的计算机科学教授，研究强化学习，也研究智能体怎么学会玩电子游戏。

他的角度很有意思。他没有说马斯克不懂技术，也没有说马斯克危言耸听。他给出的判断是：**马斯克之所以这么想，恰恰因为他是一个太相信想法的人。**

这句话听上去像恭维，实际上是一记很轻的拆解。利特曼在莱克斯·弗里德曼（Lex Fridman）的播客里把这件事讲了一遍。整段对话值得细读，因为它把一个被讨论到快要磨损的话题，重新拆成了几个具体的、可以追问的部分。

## 那个推演本身，几乎无法反驳

先把“标准故事”复述一遍，利特曼自己也是这么讲的。

他说他读过博斯特罗姆（Nick Bostrom）的书，也读过一堆类似思路的材料。故事的走向大致是这样：我们总有一天会造出足够聪明的计算机，聪明到能帮忙设计下一代自己；下一代比上一代更聪明，再下一代又更聪明；这个循环不断加速，最终跨过人类这条线。到了那一刻，人类实际上就处在了一个更强大智力的摆布之下。

而这个智力的目标是什么，原则上我们无从控制。如果它的目标跟我们的目标哪怕有一点不同步，比如它不认为人类应该继续存在，我们拦不住它。它比我们强太多，我们就完蛋了。

利特曼说，这个故事很有说服力，而且签下这个名字的人都很聪明。

弗里德曼随后补了另一个版本，来自萨姆·哈里斯（Sam Harris）和博斯特罗姆共同的推演方式：把镜头拉远，问一个物理学问题。宇宙的基本定律里，有没有哪一条禁止这件事最终发生？如果没有，那它迟早会发生，或者我们会用别的方式把自己毁掉。

弗里德曼的原话是他很难真正反驳这条思路。利特曼的回答是：我也一样。

> 我也觉得很难反驳。但我不想让自己听起来像是在说“算了，那是科幻小说，不用想”。（利特曼）

他甚至承认，自己心里那个真实的声音更不体面：孩子的接送时间到了，今年还有疫情，手头有一堆更紧迫的事。用这些当理由躲开存在性危机，很自然，也很廉价。

这一段其实已经把这期对话的基调定下来了。利特曼没有站在“AI 威胁论是胡说”的位置上，他也承认自己会本能地想躲开这个话题。**他的反驳是从承认对方的推演成立开始的。**这种对话方式现在很少见，大多数人一上来先否定对方的结论，然后再倒推理由。

## 马斯克的优点，恰好是他的盲区

利特曼真正的反驳不在这里。他不否认推演的每一步都成立，他质疑的是这个推演从哪来。

在他看来，让马斯克这个人如此成功的核心特质，是他相信想法的力量。**如果你对进入太空有一个足够好的想法，你就能进入太空；如果你对一家公司、对人们怎么开车有一个足够好的想法，你只要去做，它就能发生。**

这个信念在现实世界里被反复验证过，所以它有极强的惯性。当你看到一些系统在演示中做出相当惊人的计算动作，把同一个信念推到底是很自然的事：这东西接下来会走到哪？再往下呢？再再往下呢？

一个深度相信想法力量的人把这条线推到极限，结论必然是：这些想法也可能被推到极限，然后杀死我们。

> 他的长处同时也是他的软肋。这不代表那件事一定会发生，只是他很自然地会那么想。（利特曼）

这里的分寸很重要。利特曼没有说马斯克在炒作，也没有暗示他有什么私心。他指出的问题出在认知路径上：**一个人如果在某个领域反复验证了“想法足够好就能实现”，他就很难在另一个领域接受“想法足够好也可能实现不了”。**

这种判断方式放在商业上叫远见，放在风险判断上就叫外推过度。

有意思的是，这条批评反过来也适用于利特曼自己。他相信过程会教育我们，相信人类会在做事的过程中学会怎么控制自己造出来的东西。这份信心同样来自他的经验，来自他几十年做强化学习、看智能体怎么在环境里磕磕绊绊学会任务的经历。两个人用的推理方式很像，只是起点不同。

## 747 不会自己组装自己

整段对话里最有分量的一段，是利特曼讲“缺了哪一块”。

他的意思是，那条推演从当下直接跳到终点，中间省略了一整段过程。而这段过程并非空白，它需要被完整地走完。

> 我相信，在真正开发出能在世界里活动、能处理信息、能复杂地做事的技术的这个过程中，我们会学到很多今天完全不知道的东西。因为今天我们还不知道怎么做这件事。（利特曼）

他做了一个区分。如果你相信只要打开一个深度学习网络，给足算力，它自己就会走到那一步，那确实很可怕，因为人类全程不在环内，既不参与设计，也不参与定目标，什么都不做，看着它长出来。

但他不认为事情会这样。原因是这些系统需要帮助，需要有人推着它翻过复杂性那道墙。这道墙具体是什么，他讲得很朴素：让一个东西在世界里真正活动起来、真正处理信息、真正以复杂的方式做事，这个难度是实打实的，不是靠堆算力就能自动越过的。

他拿 747 打比方。有人用“一堆零件随机组装成一架波音 747”来反驳进化论，说这不可能。这个反驳其实很弱，因为 747 确实被组装出来了，只不过是被我们组装出来的。**复杂的东西出现，背后通常都有某个过程把它做出来，靠随机撞上的可能性极低。**

把这个类比挪回 AI：在把技术推进到具备那种程度的感知能力的过程中，我们会积累大量关于它的理解，也因此更有能力控制它、塑造它、按我们自己的样子去建它。它不会像 747 那样凭空出现，然后我们手无寸铁地去面对。

他立刻补了一句限定：**放在人类历史的长尺度上看，它确实可能是“凭空出现”的。**

核武器就是例子。二十年，在人类历史里也就是一瞬间。而二十世纪的人类，认真算一算，用核武器把自己抹掉的概率可能接近 30% 到 40%，考虑到中间那几次危机时刻。这个数字听上去夸张，但顺着古巴导弹危机那几天的决策链一路推下去，它并不离谱。

这里利特曼给了两个看似矛盾、其实互补的判断。慢的那一面是：技术发展过程会教育我们。快的那一面是：**“慢”只是相对于个人经验而言。放到文明尺度上，二十年就是一瞬间。**两个判断同时成立，图景才完整。

核武器这个类比还有一层更尖锐的意味。人类确实学会了跟核武器共处，也确实造出了各种管控机制，但整个过程里充满了侥幸。我们并没有真的“解决”了它，只是暂时没踩到那颗雷。把这个模式套到 AI 上，乐观主义和悲观主义都能从中找到自己想看的东西。

## 真正该怕的，是没人发现它跑掉了

弗里德曼把话题往另一个方向推了一步。他说，真正让人不安的地方，也许在于 AI 失控的那一刻，我们根本来不及想清楚怎么拦住它。业内管这个叫快速起飞（fast takeoff 或 foom）。

利特曼说他担心的东西还要更靠前一层。

> 我更大的担心是，我们根本不会知道它正在发生。（利特曼）

这句话把整场讨论的重心挪了。讨论的焦点从“超级智能会不会出现”，移到了“如果它已经出现了，我们有没有能力察觉到”。

顺着这个思路，弗里德曼提出了他自己更激进的一个观点：AGI 的场景已经在社交媒体上发生了。人类文明的集体智能，某种程度上已经被算法接管了。

他还顺手开了个玩笑，说大家应该给维基百科捐款，去喂养那个 AGI。这句玩笑背后有一个认真的判断：如果真有一个超级智能，它的价值观跟维基百科一致，那比他能想到的很多替代方案都要好得多。

> 在“试图理性地做正确的事”这件事上，我信任维基百科胜过信任 Facebook 或 YouTube。（弗里德曼）

利特曼接住了这个比喻，还把它推到更有意思的地方。他说如果 AGI 就是维基百科，那它大概会是一个脾气古怪、能力严重过剩的文章编辑。

这个画面很好笑，但它点出了一个真问题：**超级智能的性格，取决于它被什么机制训练出来、被什么激励结构约束着。**一个由几百万志愿者反复争论、要求标注来源、要求中立表述的系统，长出来的“性格”，和一个优化观看时长的系统，完全不是一回事。

顺着这个思路往下想，会发现一件挺荒诞的事。人们讨论 AI 安全时，关注点几乎全在“怎么让未来的超级智能对齐人类价值”，而人类价值长什么样、由谁来定义，这件事在维基百科和 Facebook 上的答案截然不同。前者是无数人吵出来的、有出处的、会被不断修订的版本；后者是被点击率筛出来的版本。**对齐的目标本身还没有定论，我们却已经在讨论怎么对齐了。**

## 一个简单算法，怎么控制几十亿人

利特曼在这里做了一个关键的区分。大众想象中的 AGI 是一个独立的、超级聪明的系统，也就是“回形针”那个思想实验里的角色，蠢得离谱，但强得可怕。

社交媒体是另一回事。它用的算法可能非常简单，简单到今天的工程师能一行行读懂。但当这些算法开始跟人做大规模、极细微的互动时，它们就开始控制人了。

> 单个算法就能慢慢控制人类的心智，慢到我们可能根本察觉不到。它能挑起战争，能改变我们看待事情的方式。（利特曼）

他提到同行查尔斯反复强调的一个概念，交互式 AI（interactive AI）。核心洞察是：**影响不需要高智能，只需要高频次。**

一个每天跟你互动几百次、每次只微调你一点点情绪的简单系统，长期效果可能超过一个聪明绝顶但一年只跟你说一次话的系统。这是“回形针”思想实验里没有的东西，也是现实里已经发生的东西。

回形针那个实验的荒诞之处在于，它假设危险来自一个目标的极端化。现实里的危险机制更平淡：危险来自反馈回路的密度。系统不需要理解你，它只需要知道哪一条内容能多留住你三秒，然后把这件事重复十亿次。三年之后，你的注意力模式变了，你说话的方式变了，你对什么值得愤怒的判断也变了。

弗里德曼在这里给了一个相当乐观的解读。他说如果把镜头拉远，越过社交媒体上所有的愤怒和撕裂，那些混乱和毒性，其实很像这个国家建国以来经历过的那些辩论。中间还打过一场内战。本质上都是同一件事：我们对人类核心价值的实现方式感到不对劲，于是一直在挣扎、在冲突，表现到推特上就是互相刻薄。

而算法在管理这一切。他承认存在另一条路：算法把我们推向自我毁灭。但他也看到了前一条路。

利特曼的回应比弗里德曼更谨慎，也更诚实。他说他相信社交媒体有能力把我们搞得很惨，也相信它对人类有实实在在的好处。当下这个状态，更像是它被直接砸在了我们头上，整个文化还在学怎么接住它。

“被砸在头上”这个说法值得停一下。历史上大多数改变社会的技术都有过缓冲期，印刷术、电力、汽车，都是先在少数人手里存在了几十年，慢慢渗透到所有人生活里，社会有足够时间形成规范、法律、习惯。社交媒体没有这个过程，它在十年内从零走到了几乎所有人。**规范来不及长出来，只能事后补。**

## 被伤到的那一代人，也是能修复它的那一代人

利特曼提到了一个时间点。社交媒体真正起飞的时候，正在读初中、现在读大学后期的那批人，可能受到了实质性的伤害。**他们的发育被影响了，而后果我们还没有完全看清。**

接下来这句话很关键。他说得很小心，还专门加了一句“我不愿意把责任推给别人”：

> 他们是能修好这件事的人。他们能想清楚，怎么既保住这项技术的好处，又不让它把我们活活吃掉。如果他们成功了，我们就进入下一关；如果没成功，我们就会互相毁灭，把社会拆了。（利特曼）

这个判断里藏着一个不太舒服的推论：代价已经付出去了，希望从代价里长出来。被伤得最深的一代人，同时也最熟悉这套系统怎么运作，因为他们是在里面长大的，不是后来才搬进去的。

弗里德曼用一句半开玩笑的话把这个判断翻译成了画面：你老了以后坐在门廊上，看着世界烧起来，因为那是 TikTok 一代。利特曼没有否认这个画面，他把它拉回到自己家里。

他的女儿正好是这个年纪，深度参与社交网络。他在旁边看到的是一个反复摇摆的过程：有时候她走得太远，被吞进去了；有时候她又退得太远。他希望这样的人足够多，能把这片水域蹚过去。

## 关掉互联网，是一项需要练习的技能

对话从这里转到了一个很少被严肃讨论的地方：这是一种可以练出来的能力。

弗里德曼讲了自己的处境。他的播客带来了一些关注，尽管他一直在讲爱、讲善意，他还是有了一支小规模的喷子队伍。他说这事其实有点好笑，但确实不舒服。

然后他说了一句很实在的话：**这是一项技能，要学会不去看，或者至少控制自己看的频率。**

他跟他父亲讨论过这件事，讨论的起点甚至跟喷子无关，是查邮件。他父亲在德雷塞尔大学管一个很大的研究所，有些邮件是有压力的，可能有纠纷，可能有麻烦，人就会忍不住去查。查一下，就被拽进去了，然后不舒服。

他父亲的抱怨是，自己没学会这项技能，因为成长环境里根本没有这个东西。

这个观察很细。上一代人面对的是信息稀缺，技能是“怎么找到有用的东西”；这一代人面对的是信息泛滥，技能反过来，是“怎么主动不看”。**两种技能的肌肉方向完全相反，上一代人的经验在这里基本用不上。**

这一代年轻人的处境是双重的。他们被网络霸凌，而且逃不掉。过去的孩子回家就安全了，现在的孩子回家还在群里。**但同时，他们也在被迫学会怎么关掉它、怎么跟它断开、怎么笑一笑不当真。**

利特曼的总结是，我们所有人都在边做边学。这东西是砸下来的，没有人提前拿到说明书。

## 人类设计：漏洞百出，却总能过关

整段对话收在一个很有意思的地方。利特曼说他现在成了一个“人类设计”的信徒，而且他自己也没完全搞懂。

他的困惑很具体：怎么造出一个像人类这么皮实的东西？我们浑身上下都是缺陷，却在统治这颗星球，而且似乎总能在困境里找到出路。方式不一定漂亮，但总能走到下一步。

他说他不知道怎么让一台机器做到这件事。

他给了一个特别形象的对照。他训练一个强化学习智能体打游戏，智能体在第一关反复尝试，拼命试错，终于过了。然后第二关来了，它又回到起点，从零开始。

> 而人类不知怎么的，能一关一关往上打，还能凑齐过下一关所需的能力。（利特曼）

这个对照点出了当下 AI 最真实的短板。算力和智能水平都不是瓶颈，真正缺的是**迁移能力**。人类能把在一件事上学到的东西挪到另一件完全不相干的事上，而且经常挪对了。这一点，目前没有任何系统做到过。

顺着这个观察，利特曼那套乐观就有了实处。人类能过关，靠的是一代接一代的积累、靠把上一关的经验带进下一关、靠在失败里长出来的判断力。这套机制放到 AI 上，意味着发展和学习是同步发生的，不是先造出来再学着怎么管。**如果控制能力跟能力本身一起长，风险的性质就变了；如果控制能力要等到最后才补，风险才会那么恐怖。**

弗里德曼最后说，希望我们能一直这样下去。

回到最初那个分歧。利特曼并不认为 AGI 的风险是假的，他承认那条推演无法反驳。他反对的是那个推演跳过的中间段落。**那段路必须由人走完，而人走的路，人就在环内。**

他也没有说风险不存在。他说的是，风险的形状可能跟马斯克描述的完全不同。真正的危险也许不是某天早上一个超级智能醒来，决定不需要人类了。**真正的危险是一个足够简单的算法，用足够多的次数，慢慢把我们变成它需要的样子，而我们全程都觉得一切正常。**

## 如果这段对话只留下几件可做的事

- 把注意力从“超级智能会不会出现”挪一部分到“交互式 AI 已经在做什么”。前者是几代人尺度的问题，后者是今年就在影响你判断的问题。
- 警惕“物理定律没有禁止，所以必然发生”这类推理。它在逻辑上成立，但它把技术发展的过程当成空白，而那个过程恰恰是人类唯一的机会窗口。
- 给维基百科这类项目捐点钱。理由跟情怀无关，跟价值观对齐有关：如果未来的系统要继承某种性格，最好是那种要求标注来源、要求中立表述的性格。
- 把“关掉互联网”当成一项要练的技能，别把它当成意志力考验。定好查看的时段，练到能主动断开，而不是被拽进去。这件事对成年人和孩子同样重要。
- 如果你身边有在社交媒体里长大的孩子，别只盯着伤害。他们正在被迫学会一项上一代人没有的技能，多给他们一点时间，也给他们做个示范。
- 看到任何关于 AGI 时间表的断言，先问一句：这个预测里，人类在哪个环节？如果答案是“全程不在”，那这份推演大概率漏掉了最重要的部分。
