张湧：科技圈爆发“小行星撞地球”事件

lameihua

　　伙伴们，大家好！

　　最近，一位从美国头部AI公司离职的研发人员呼吁，人类要给AI的研发“减速”。

　　他说，AI已经开始参与自身的研发和迭代，人类最终会失去对AI的控制。

　　这对人类是毁灭性的，类似“小行星撞地球”。

　　过去，AI虽然越来越聪明，但是AI的研发和改进，是由人主导的。

　　AI哪怕比人类聪明无数倍，只要是人来控制，都是人类的工具，不会有事；

　　而一旦AI开始自我迭代，失控可能是大概率事件。

　　聪明≠风险。

　　失控的聪明=风险。

　　因为AI一旦开始自我迭代，就不以为人类的福祉为出发点了。

　　不以人类的福祉为出发点的AI，就相当于一个独立的物种。

　　目前来看，人类还有时间给AI的自我进化“踩刹车”。

　　关键是，这需要全人类一起踩才行，只要有一个国家不踩刹车，其他国家踩了也没用。

　　所以这不是某一个国家或者公司愿不愿意踩的问题，而是不同利益群体之间，能否达成协同的问题。

　　我的判断是：如果AI失控被证实，那么全人类一起踩刹车是大概率事件。

　　01

　　虽然AI是当下大国竞争的核心领域，但是如果涉及到双方的生存，人类的理性会让大家各自妥协，达成一致。

　　这主要是从博弈论的角度来分析，并不是要给大家提供情绪价值。

　　AI的发展，让大国的博弈成为一场“胆小鬼”游戏。

　　胆小鬼游戏就是，两个人开车，头对头驶来。

　　谁怕死，谁先踩刹车；先踩刹车的一方因为胆小而失败，不怕死的一方获胜。

　　但是如果双方都不刹车，结果就是同归于尽。

　　而人类的理性，是不太会让这种事情发生的。

　　因为理性的表现，就是充当“胆小鬼”，我们每个人都应该是对撞博弈中的“胆小鬼”才对。

　　不是胆小鬼才是例外。

　　所以，这个世界上不安定的因素，就是那些有可能选择同归于尽的胆子大的人。

　　而只有一无所有的人，才会光脚不怕穿鞋的，才会有可能选择同归于尽。

　　给他们鞋穿，就会让他们加入“胆小鬼”行列，而不是老想着消灭他们。

　　不论这个博弈中有多少参与者，只要大家都是“胆小鬼”，就都会达成一致。

　　在国际事务中，能做到这一点，就可以称之为负责任的国家。

　　当年的古巴导弹危机，就是一场典型的胆小鬼博弈，最终大家各退一步，化险为夷。

　　不认可，或者将其归因于某个英雄人物的伟大抉择，是因为你还没有带入到“小行星撞地球”的心态。

　　02

　　现在，很多国家在搞AI竞赛。

　　如果某一天，AI失控成为人类的共识，人类的共同敌人就变成了AI，而不是彼此。

　　目前的情况是，之所以大家仍然在继续踩油门朝着对方开过去，完全没有踩刹车的迹象，是因为大家对AI是否会失控这件事的看法，没有达成一致。

　　一旦达成一致，AI就从科技战，变成类似小行星撞地球的事件了。

　　那个时候，每个人的心态都会改变。

　　只不过现在大家很难把AI的问题，和小行星撞地球划等号，所以都在继续踩油门往前冲。

　　到时候，是否给AI踩刹车，就不是某一个人说了算，而是全人类的共同意愿。

　　在这种事件中，人类的协同所能达到的高度，可以参考电影《流浪地球》里面各个国家之间那种协同水平。

　　03

　　但是有一个反例，就是《巴黎协定》，人类在气候问题上并没有达成一致。

　　貌似大家把发展权凌驾于全球气候问题之上。

　　没有达成一致的核心的原因是，对于气候问题是否会毁灭人类，不同群体之间是有分歧的，并没有达成一致。

　　而且，气候问题也被解读为一种武器化的工具，就是先发国家限制后发国家追赶的一种工具。

　　接下来的一个重点是，我们需要验证一下，AI是否真的会失控。

　　一旦证明，如果人类不干涉，AI真的会失控，那么人类肯定会管。

　　而且会不约而同地一起管。

　　AI不管怎么发展，人类必须保留一种能力，就是不同的利益群体可以协商一致的能力。

　　人类会选择保全自己，而且要把选择生存的权利掌握在自己的手中。

　　哪怕代价是退让。