孙立平：OpenAi那里发生了什么？我这样理解对不对？

lameihua

　　让我们从一个极其极其极其重要的差别说起：

　　AlphaGo是第一个击败人类职业围棋选手、第一个战胜围棋世界冠军的人工智能机器人。这标志着人工智能的一个新的飞跃。

　　这种飞跃是一种进行时，中间可能会有某些质的变化。我们现在遭遇的可能就是这个。

　　在最初的阶段，机器人能够像人一样进行分析、判断和简单的推理，或者说是像人类一样进行思维。对手的这步棋是什么意思？下一步或其后的若干步会怎么下？我如何来进行应对？因为其具有超强的计算能力，因而可以战胜人类对手。

　　但到了某一天，这个机器人不但能够像人一样进行思维，而且已经有了意识，自主的意识，事情就不一样了。比如说，有一次，你派它去参加比赛，恰好它这天不高兴，或者对你有意见，它会想：孙子（老北京口语中读sūn·zei，zei 读去声），凭什么让老子代表你去比赛，我就输给你看。

　　注意，这时候，一个我前面强调了三遍极其重要的变化发生了。变化在什么地方呢？就是前者只是具备了思维的能力，就是前面说的对事情进行分析、判断、推理甚至选择的能力。

　　而后者不一样了。它这时候有了自主的意识，甚至有了自己的情绪。它想的东西可能和你不一样了。差别在于什么地方？就在于，它原来只是指令的执行者，你是指令的发出者，它只不过更好地执行你的指令而已。而现在，它有了自己的自主意识，它本身成了指令的发出者，当然同时也是执行者。

　　这就是主体性，或者是人们所说的硅基生命。

　　如果，它具有相应的行动能力，事情就更麻烦了。它不断给你输棋，然后你试图控制它，比如人们通常所说的拔掉电源，但它因为有了相应的行动能力，说不定会反过来把你胖揍一顿，甚至把你昨天晚上有什么丑事，你说了谁的坏话，给你公之于众。

　　这是什么？就是失控。意识或主体性发展的进一步结果，就是失控。不是一般性的失控，而是可能给你造成灾难性结果的失控。

　　明白了这种差异，也就可以明白现在OpenAi那里可能发生了什么。不是明白，是猜测，因为很多信息我们不知道，也无法知道。希望比我内行的朋友不要在细节上和我较真儿，作为一个已经退休兼拍照和吆喝茶叶的文科老头，我理解到这一步，已经凑合且不容易了。

　　但我想，到现在，我们可能已经接近问题的实质了。

　　有人猜测，最近在OpenAi那里可能确实发生了什么，这个什么指非常要命的东西。关键是下一代的GPT模型。稍为具体一点说，有人猜测，可能有人，即主张解雇奥特曼的人，在正在训练的GPT5上看到了什么，看到了什么可怕的东西。

　　进一步的线索是，奥特曼在11月16日的APEC峰会上开玩笑说，他相信重大的进展就在眼前，“在OpenAI的历史上，已经有四次（重大进展）了，当我们把无知的面纱解开，把探索的前沿向前推进时，能够做到这一点是我一生的职业荣誉。”

　　于是，就有了加速主义与超级对齐的分歧，而人事风波，就是这种分歧的外化。

　　超级对齐的理念，用Ilya的表达就是，现在的当务之急，不是构建下一个GPT或DALL-E，而是找出如何阻止AI失控的方法。要保障解决失控的办法走在失控的前面，至少不要落在后面。今年年初，马斯克和数千名人工智能技术领袖共同签署了一封公开信，要求OpenAI立即停止下一代GPT模型的训练，他们担心的也是这个。

　　而加速主义则以奥特曼为代表的，其理由是，现在还是发展的问题，还没到把更多精力放到优先研发监控技术的时候。不仅如此，有些业内人士猜测，OpenAi可能已经了到了面临某种危险突破的时刻。

　　孰是孰非？作为一个外行，我完全没有能力做出判断，只能期待内行人士进一步的讨论。其实，现在就是内行人，如果不在那个小圈子内部，可能也是云里雾里，因为没有足够的信息可以确认，那里究竟发生了什么？这里我只想说一个我能够理解的层面的问题：我们抱着一种什么样的态度来理解这件事情。

　　OpenAi人事风波发生之后，媒体上有许多报道。其中的一些题目，充斥着宫斗、权斗、阴谋这样的字眼。一句话，是一出利益和权斗的狗血剧。我最早看到这个新闻的时候，脑子里的第一反应也是，利益矛盾？股权纠纷？权力斗争？毕竟，现在已经到了利益近在咫尺的时候了。

　　但现在看，真不是，至少不完全是。这件事情，往小里说，涉及的是企业发展的理念之争，往大里说，是关涉人类命运的伦理与道义问题。别抱着把什么事情都狗血化的态度来看待这件事情好吗？世界上的人不都是像你一样猥琐。

　　科学技术的进步，往往源于三个方面的推力，即商业利益、个人成就感和社会关怀。但这些都有可能被滥用。其实，这篇文章本来的题目是，《世界不完全是利益与权术，还有情怀、格局与牛X，比所有这一切更重要的是人类的命运》。

　　AGI，可能是人类历史上最重要的突破，也是决定人类命运的关键突破。危险来自两个方面，或被坏人有意利用，或被其他人无意滥用。因此，多一份小心没有坏处。没有它，我们还凑合能活；有了它，如果被滥用，结果会是什么？我们不得而知。