# 马斯克与内塔尼亚胡完整对话:AI 安全(2/2) > - 原标题:Full Discussion about the AI Safety with Elon Musk, Benjamin Netanyahu #artificialintelligence 2/2 - 时间:2023 年 - 频道:Bayon Mbayo - 网页版:https://elon.ruinews.com/ep/full-discussion-about-the-ai-safety-with-elon-musk-benjamin-neta/ - 精读字数:约 6559 字(阅读约 15 分钟) > 本文为 elon.qiaomu.ai 基于原始视频与文稿的 AI 改写中文精读,非官方翻译;引用请注明出处并链接网页版。 ## 爱因斯坦没想造核弹,核弹还是来了 马斯克先做了一个铺垫。他说自己认识 AI 领域几乎所有人,想不出谁动机是坏的,大家都想造出帮助世界的技术。 然后他讲爱因斯坦。 > 爱因斯坦是个明显热爱和平的人。他没有预料到自己在物理学上的发现会催生核弹。他不是在想"让我来造超级武器",他想搞清楚宇宙的真相。(马斯克) 马斯克说,批评 AI 开发不等于批评做 AI 的人。但要记住,最好的意图也可能造出坏东西。这是他想在一开始就摆明的前提。 内塔尼亚胡把问题接过来:当一股力量以指数级速度增长,怎么把责任和伦理注入进去? 他的处境很具体。以色列人口不多,AI 人才密度排在世界第二,他想挤进前三。一个国家要在几年内拿出一套国家 AI 政策,同时还得回答上面那个哲学问题。 ## 他们提前知道了 GPT-4 有多强 布罗克曼讲了 OpenAI 的起点。2015 到 2016 年,公司从他公寓里开始。第一个夏天来了个实习生,一群人坐在那儿讨论怎么解决图灵测试,越聊越兴奋,说三年就能搞定。 那个实习生听完,决定不全职加入,理由是"你们疯了"。 三年后,GPT-2 出来了。图灵测试没完全解决,但进度远超所有人预期。 布罗克曼说,这件事说明一个更麻烦的问题:技术总是出人意料。 他读过阿西莫夫,读过科幻小说里所有关于超人类智能的想象,也包括那些严肃思想家的推演。没有一个人预测到 GPT-3 长这样。技术在真实世界里呈现出来的性质,跟纸面上的想象完全是两回事。 国际象棋是个经典例子。很长一段时间里,人们相信只要机器下赢了国际象棋,就等于攻破了人类智能的核心。结果国际象棋是第一个倒下的。 所以布罗克曼强调"能力预测"。GPT-4 发布时有一个不太被外界注意的细节:在训练之前,他们就已经相当准确地预测了这个模型会有多强。以前的模型做不到这一点。 他的逻辑是,如果人类能提前看到拐角后面的东西,就有机会做准备。AI 领域过去的状态正好相反,每一次都被打得措手不及。 ## 总理问:工作怎么办 内塔尼亚胡把话题拉到最现实的地方。 好莱坞在罢工。编剧、导演、演员都在担心被替代。一个国家的领导人要面对的不是论文里的假设,是选民明天的饭碗。 布罗克曼没有给安慰性的答案。 > 我确实认为 AI 跟以往每一次技术都不一样。过去的自动化主要替代的是创造过程里机械的那部分,这一次涉及到的是创造本身。(布罗克曼) 他举了个类比,这个类比后来被反复引用。 > 如果你是一个狩猎采集者,有人跑来问你,农业革命以后我们的狩猎采集工作会怎样?这个问题本身就很奇怪。因为整个框架变了。(布罗克曼) 他说这不是推脱。很可能消失的工作真的比创造的多,中间会有一段相当混乱的时期。能做的是尽量提前预判,让答案变得具体,而不是等着看。 内塔尼亚胡接了一句自己也不轻松的话:如果 AI 吞噬的工作真的多于创造的工作,那经济政策和政治政策都得改。他自称是自由市场的信徒,亲手放开过以色列经济,但自由市场的前提是开放竞争,竞争到了垄断那一步就必须有人管。 ## 一万亿美元的公司,和越来越少的赢家 内塔尼亚胡把矛头指向财富集中。 AI 正在批量制造万亿美元级别的公司,速度快到像一夜之间长出来。财富和权力流向越来越小的一群人手里。他提到自己和彼得·蒂尔(Peter Thiel)聊过,对方说这一切都是规模优势,最终都是垄断。内塔尼亚胡的回应是,规模优势我认,但总得在某个点上停下来,否则竞争就被压死了。 他还有一层担心:技术的好处能不能渗透到那些没有算力、没有人才、没有数据的国家。以色列能给世界的东西很具体,滴灌、樱桃番茄、胶囊内窥镜。AI 能不能也长出这种普惠的东西,还是只会把有和没有之间的沟越挖越深。 布罗克曼承认这是真问题。他提到 OpenAI 里有一批以色列工程师、科学家和管理者,水平顶尖,有个管核心团队的经理是前特种部队出身,什么都不慌。他说以色列那套做事方式很适合这个领域。 然后他回到分配问题:世界应该朝着所有船一起涨的方向走,但过程中一定会有不均,这是需要政策制定者盯住的地方。 他还提了一个数据。OpenAI 做过一轮普遍基本收入(UBI)实验,规模据说是全球最全面的。不过他对 UBI 的态度很谨慎,说这只是众多可能机制之一,前提假设很多,副作用也明显,需要更有创造性的方案。 ## 坐着吃爆米花,是最危险的态度 泰格马克把讨论的方向拧了一下。 他说,问"我们会怎样"然后坐下来吃爆米花等未来发生,是最被动的姿态,而且直通诅咒。 他给了两个类比。 生物学上的:地球上曾经出现过比自己更聪明的物种,结果是其他物种灭绝。人类如果被动地走进这个局面,很可能也是同一个结局。 经济学上的:治国不能坐在那儿等童工现象和超级垄断自己长出来。你要先问自己想要什么,然后建制度,禁止童工,立反垄断法。 对应到今天的问题是,怎么确保是我们控制 AI,而不是反过来。 ## 让 AI 自己证明自己安全 泰格马克的答案很技术,但逻辑很清楚。 他最近和团队写了一篇论文,讲的是一种控制比我们更聪明的机器的方法:让其他 AI 用形式化的方式证明,这个 AI 是安全的。 > 唯一能让你信任一个比你聪明得多的东西还照你的意思办事的方法,就是证明。因为不管它多聪明,它都做不了可证明不可能的事。(泰格马克) 这里面有一个数学上的不对称,是整个思路的支点。 构造一个证明极其困难,检查一个证明却很容易。你可以写三百行程序,去验证任何一条关于任何东西的数学证明是否正确。 所以只要强迫 AI 把它会遵守人类规格这件事,变成一份人类能验证的证明,人类手里就有了抓手。哪怕这个 AI 比写验证程序的人聪明一万倍,它也没法让一个假证明通过检查。 内塔尼亚胡追问:怎么保证证明本身没有争议? 泰格马克说,这就是数学的好处。一个天才想出来、他自己完全想不出的证明,他可以一步一步代进去验,成立就是成立,不成立就是不成立,跟是谁想出来的无关。 布罗克曼补充了工程上的进展。形式化验证在网络安全领域已经做了很多年,因为公司被漏洞坑得太惨,愿意砸钱。他把这个领域现在的状态比作大语言模型出现之前的阶段,主要靠人力写证明,正等着被 AI 加速。 他还提了一个更远的可能性。网络安全一直是攻防双方轮流升级的猫鼠游戏,有了形式化验证,防守方也许能一次性赢到底。像 Heartbleed、Shellshock 这类折腾了整个行业十年的漏洞,理论上可以从根上消失。 当然他加了限定,前提是模型本身是对的,细节一大堆。 ## 最好的结局听起来像天堂 内塔尼亚胡把话题拉回那个最朴素的问题:人没有工作了,怎么办? 他说自己以前问过马斯克。马斯克的回答是,天堂有什么不好? 马斯克在台上把这句话展开了。 他说最乐观的情景,其实很像宗教里描述的天堂。没有人必须工作,你想要什么就有什么,任何疾病都能治好。 > 我不会叫它普遍基本收入,我会叫它普遍高收入。我说的是最好的那一种情景。(马斯克) 在这个情景里,稀缺基本消失了。机器人和计算机可以给任意多的人生产任意多的东西。剩下的稀缺都是人为定义的,比如你规定某一件人类亲手做的艺术品是独一无二的,那它就稀缺。除此之外,物质层面不再有真正的短缺。 然后他往下讲了一层,这一层比物质更麻烦。 如果 AI 在所有事情上都比你做得好得多,人的意义在哪?会不会所有人都滑向享乐主义?天堂这个概念本身,是不是人真正想要的? > 我个人可能会有点沮丧。我会想,那我现在该干什么?(马斯克) 内塔尼亚胡笑着接话,你会想出办法的。 这一段其实是整场对话里最诚实的地方。一个一直在推动技术边界的人,承认自己面对终极丰裕时第一反应是失落。 ## 更可怕的不是机器人造反,是竞争 泰格马克在这里踩了一脚刹车。 他说,人类不会自动走进那个天堂。还有一个同样可能的方向:没有工作,因为已经没有人类了。 他提到 2023 年 5 月那份声明,说 AI 的灭绝风险应该被当作和流行病、核战争同等级别的公共风险来对待。签名的有 OpenAI 的人,也有马斯克。 失控的方式未必像好莱坞电影。更隐蔽的路径是竞争。 > 如果人们在互相竞争,他们往往会为了占上风而自愿把控制权交给机器。用机器替代工人的公司,会打败不替代的公司。把指挥权交给 AI 的军队,会打败不交的军队。(泰格马克) 顺着这条线推下去,用 AI 管理国家的政府,会打败不用的政府。等所有人都这么做完了,人类回头一看,这已经不是我们的未来了。 这个论点值得多想一会儿。它不需要任何邪恶的 AI,也不需要任何野心家。只要有竞争,有排名,有输赢,每个参与者都有动机先松一手。松到最后,控制权就没了。 内塔尼亚胡的回应很直接。他说自己是物种主义者,站在人类这一边。犹太传统里有句话,你本城的穷人优先于其他城的穷人,他对人类物种也是这个态度。 然后他讲了一段更深的。 人类一直靠挣扎来定义自己。圣经里,天堂是不用干活的,伸手摘果子就行,然后蛇来了,人被罚终身劳作。从那时起,人类的历史就是跟自然斗、跟同类斗、跟动物斗,不断改善自己的处境。个体、民族、整个物种的自我认同,都建立在这个struggle上。 现在这个定义整个被挑战了。 ## 人类早就是赛博格,只是带宽太窄 布罗克曼补了另一个角度。 他说最好的未来不只是物质丰裕。每个人生命里大概都遇到过一个真正看见自己、把自己点亮的老师。如果这样的老师对你任何想学的科目随时都在,人会变成什么样,人与人之间的关系会变成什么样。这只是正面情景里的一小块。 马斯克接过话,讲起了 Neuralink。 他先泼了冷水。脑机接口一定比 AI 慢,因为往人脑里装东西必须极其小心,容错率几乎是零。所以他判断 AGI 大概会先到。 他用了一个物理学的比喻。数字超级智能像黑洞,越过事件视界之后发生什么很难预测,而人类现在正绕着这个视界转。 Neuralink 的近期用途很务实。帮脑损伤、脊柱损伤的人,让四肢瘫痪的人、霍金那样的人,沟通速度比健全人还快。这是能立刻兑现的价值。 长期目标是提高带宽。 马斯克说,人其实早就是赛博格了,只是大多数人没意识到。你有本能和欲望,有负责思考和规划的大脑皮层,还有第三层,手机、电脑、服务器、各种应用。他把这层叫数字第三层自我。 证据很日常。丢了手机像丢了肢体,那种感觉不是矫情,是这层自我真的被切掉了一块。 瓶颈在带宽。你用拇指在屏幕上打字,每秒输出几十到几百比特。计算机之间传输信息是每秒万亿比特。差了九个数量级。 > 如果能把大脑皮层和你的数字自我之间的带宽提上去,人类想要的和 AI 在做的就能更好地对齐。我不说这一定能成,这是其中一个押注。(马斯克) 他自己也承认这是长线赌注,用了个不太正式的说法,孤注一掷的一枪。 内塔尼亚胡在旁边补了个观察:他没见过任何一个人想删掉自己的大脑皮层或者边缘系统。马斯克说,他也基本没见过,最多见过极少数不用手机的人。 内塔尼亚胡承认自己多年不用手机,当总理时连电视都没有,家里用的是三十五年前的电话。后来离开政府,破了戒,现在也很难放下。 ## 对超级智能来说,我们就是树 马斯克讲了一个树的故事,全场都笑了。 假设你是一个 AI,你唯一想做的事就是搞清楚人类到底要什么。你等着人类开口,但他说话像树一样慢。 树其实也在交流。用化学信号,追着阳光调整生长方向,对其他树做出反应,只是慢到人看不出来。你要是把一棵树的一生加速播放,它也挺忙的。 马斯克的意思是,从 AI 的视角看,人类的输出速度就是这个级别。所以需要高带宽接口,哪怕 AI 一心想做好事,人类也得能说得够快。 泰格马克把这个比喻推到了更狠的地方。 > 对一个超级智能来说,我们就是树。它们思考的速度比我们快得多,就像我们比树快得多。如果雨林里几棵树有点担心人类要来砍它们,说别怕我们这么聪明肯定能拦住,那祝它们好运。(泰格马克) 这个比喻之所以有效,是因为它把"智能差距"翻译成了"时间尺度差距"。人砍一片雨林,树来不及做出任何反应,因为整个过程对树来说太快了。人和超级智能之间的关系,大概就是这一层。 ## 新药不能直接摆上超市货架 泰格马克给了三条具体建议。 第一条是控制机器,前面已经讲够了。 第二条是暂停最危险的部分。这里他和布罗克曼有分歧。他签了那份呼吁暂停的公开信,布罗克曼没签。 他把理由讲得很朴素:学生物技术。你想让一种新药上市,不能直接摆到超市货架上,得做临床试验,得让专家相信它是安全的。高风险的强大 AI 系统也应该有一套类似的标准,公司在发布之前有责任证明它是安全的。 内塔尼亚胡问,谁定标准? 泰格马克说这道题已经有人做过了。以色列和美国都有成熟的生物技术审批体系。批药的不是议会,是科学家,但政府参与批准流程。这套东西不需要重新发明。 第三条是正面愿景。他说人类真正能协作起来,靠的从来都是共享的好图景,而不是互相指责。技术不是零和游戏。瑞典和丹麦打了几百年,人均 GDP 长期趴着不动,技术起来之后两边都过得更好了。 他还说了一句挺有想象力的话:不要把自己限制在这颗星球上。宇宙这么大,生命可以繁荣几十亿年。把这个上限想清楚,人才会有耐心在需要慢的地方慢一点。 内塔尼亚胡的回应有点自嘲。他说人类的社会和政治发展落后于技术,像石器时代的人手里拿着核技术。 ## 哪项运动没有裁判 马斯克讲了他最近在参议院的那场会。Sam Altman 和一批 AI 公司的负责人都在,主题是 AI 监管,不是什么秘密会议。 他的主张是设一个 AI 监管机构。路径也讲了:先组一个团队收集信息、建立理解,然后提出规则草案,最后形成法规。 他给了两个类比。 一个是 FDA。药物得走审批。一个是 FAA。飞机和火箭都归它管。凡是可能危害公众的东西,人类都是吃过亏、死过人之后才学会设机构去管的。 他也承认监管有代价,会让事情变慢,也可能被行业俘获。但总体上看,公众不会想取消大多数监管机构。 > 你可以把监管机构想成裁判。哪项运动没有裁判?(马斯克) 他说自己在全世界推这件事。几个月前在中国见高层,主要议题就是 AI 安全和监管,长谈之后对方认同 AI 监管有道理,而且很快有了动作。 针对那个常见的反驳,西方监管、中国不监管就会落后,他的回答是,中国也很认真地在对待这件事。 ## 这场对话真正在争什么 把四个人的话放在一起看,分歧其实没有表面那么大。 布罗克曼代表的是"边做边看"这一派。他的核心论据是能力预测:如果我们能提前算准下一个模型有多强,就有时间准备。他相信透明和部署能带来真实反馈,比关起门来推演更可靠。 泰格马克代表的是"先证明再放行"这一派。他的核心论据是数学:检查比构造容易,所以让 AI 提交可验证的安全证明,是人类唯一握得住的把手。他愿意为此等一等。 马斯克在两边之间,但更偏后者。他关心的是最坏情况下的兜底,所以推监管、推脑机接口、推多行星,三条线其实是同一个焦虑的不同出口。 内塔尼亚胡带来的是另一维度。他不管模型怎么训练,他管的是一个国家怎么在十年内不被甩下车,以及那些被甩下车的人怎么办。他反复回到分配问题,是因为政治家必须回答这个。 有意思的是,四个人在一点上完全一致:不能被动等待。 泰格马克那句话说得最清楚。问"我们会怎样",然后吃爆米花,是最糟糕的姿态。要问的是"我们想要什么",然后去建那个东西。 这场对话发生在 2023 年,很多人当时觉得这些都是科幻。两年过去,模型能力又往前走了几大步,里面提到的那些问题一个都没消失。 ## 你可以做的几件事 - 如果你在做 AI 产品,先写一份"最坏情况清单":这个系统被滥用、失控、误判时分别会发生什么,谁能发现,多久能停。这份清单比任何功能文档都重要。 - 把 2023 年 5 月那份关于灭绝风险的声明找出来读一遍,看看签名名单。以后再听到"这只是科幻"的说法,你会有自己的判断。 - 如果你在医疗、航空、金融这类已经被严格监管的行业,把你们已有的安全审查流程整理成模板。AI 监管大概率会借用这些成熟框架,而不是从零发明。 - 花两个小时搞懂形式化验证在做什么,哪怕只看科普。这是目前唯一有可能让防守方彻底赢一次的技术路线,值得知道它存在。 - 在个人层面,尽早把身份认同和工作解绑。培养判断力、品味和提问能力,这三样在 AI 什么都能生成的时代反而更值钱。 - 给自己留出不被打扰的时间。马斯克说丢手机像丢肢体,这不是玩笑。你的数字第三层自我需要定期断开一会儿。 - 关注脑机接口的真实进展,别只看发布会。判断标准很简单:它有没有让瘫痪病人沟通得更快,其他都是远景。 - 参与公共讨论。AI 治理不会只由几家公司决定,但如果没人说话,就真的只由几家公司决定了。 对话最后没有一个漂亮的收尾。四个人各自讲完了自己的部分,问题还悬在那儿。 也许这才是对的。这类问题本来就不该有一个让人安心的答案。