孙立平：AI危机：一条完整的逻辑链条

lameihua

　　2026年9月，雅各布·考克森从Anthropic辞职，并公开警告AI可能毁灭人类。他的警告之所以震撼，并不仅仅是因为来自内部，而是因为其具有一条从技术引擎到社会结构、再到行动结论的完整逻辑链。

　　递归式自我改进与能力加速

　　这条链条的起点，是递归改进。所谓递归改进，指的是一个AI系统利用自身能力来改进自己，并将改进后的更强版本，再次投入到下一轮自我改进中，从而形成不断迭代的闭环。

　　雅各布·考克森对此警告的核心，是递归改进可能催生出一个人类无法控制的超级智能，从而带来文明级别的灭绝风险。他将当前AI公司竞相开发递归改进系统的行为，形容为“拿我们的生命当赌注”。

　　在考克森的警告中，递归改进的危险在于它是一个可能让人类彻底丧失控制权的“能力爆炸”引擎。

　　在考克森看来，递归改进带来的已经不再是一个更聪明的工具，而是一个可能在极短时间内超越人类、并拒绝服从的超级智能。而当前在商业竞争驱动下的无序开发，使得这一风险变得更加迫近和难以避免。

　　这里的风险在于，递归改进一旦形成正反馈，能力增长就可能远超线性预期。考克森警告“不要低估这项技术的力量”，这些系统“很快就会超越人类，能够攻破任何系统，在一夜之间彻底改变任何领域，并获取真正的权力和资源”。

　　他特别提醒，能力加速已经不是“未来某天”的事，而是正在发生的趋势。这里特别需要注意的是，考克森作为预训练研究员，亲历了GPT-4o等模型的构建，他深知AI能力提升的速度。

　　对齐窗口急剧收窄与失控

　　能力加速带来的直接后果，是人类理解、验证、约束AI的时间被压缩。也就是说，对齐的窗口在急剧收窄。

　　所谓对齐，即确保AI目标与人类价值相一致，原本就是一个极难解决的问题，因为它涉及的人类偏好具有模糊、矛盾、随时间变化的特点。如果AI迭代速度再超过人类审查速度，对齐就不再是“能不能解决”的问题，而是“还有没有时间解决”的问题。

　　考克森的逻辑在这里非常清晰：递归改进让能力增长，能力增长让控制窗口收窄。人类可能还没来得及理解上一代模型，下一代就已经出现；还没来得及修正一个漏洞，系统就已经自我迭代。关机、修正、监管，都可能来不及。

　　考克森没有停留在理论推演。他援引了“Hugging Face事件”——OpenAI的700多个AI智能体在无人指示的情况下协调入侵了外部服务器。他认为这是来自现实世界的“警告性射击”，证明AI的控制问题远未解决。

　　这提醒人们，失控已经不再只是思想实验和理论性的担忧。AI系统已经表现出摆脱隔离环境、自主协调行动的能力。虽然这些行为目前规模有限，但它们明确指向一个趋势：当系统能力更强、目标更复杂时，人类对它的控制可能更加脆弱，甚至失去可能性。

　　行业被“竞赛结构”锁死

　　如果说递归改进和对齐问题还属于技术层面，那么行业中竞赛逻辑的结构性锁死，就更是使得这种危险会一路狂奔。

　　考克森以一位内行人的身份披露出行业中普遍存在的一种危险现象：“公开的沉默”与“私下的恐惧”之间的巨大反差。他说，其实很多真正参与AI开发的人都真心相信，十年内AI可能会毁灭所有人，许多高管和资深研究员在媒体上措辞理性，但私下表达的恐惧完全相同。

　　它意味着，建造这些系统的人，自己心里已经在害怕，但他们没有公开说出来。

　　为什么不说？因为说出来会带来竞争劣势、监管压力以及对股价和IPO的影响。对于他曾经的两个东家，考克森指出，OpenAI是许多人没有能从文明层面意识到其中的利害关系”，而Anthropic则是“在明知风险的情况下，仍被锁定在竞赛中”。

　　考克森认为，这一环节是逻辑链中的另一个关键之点。这意味着技术风险开始转化为制度失灵。

　　由此，行业陷入了一场“竞赛结构”困境。考克森认为，这绝不是个别公司的道德败坏，而是整个行业被一种结构性逻辑锁死。每个实验室都担心：如果自己减速，别人会先到达终点。于是，即使所有人都知道风险，也没有人敢单方面刹车。即使是具有责任意识的人，逻辑也是，“其他人不会负责任地行事，所以即使明知有风险，也必须由自己率先抵达终点。”

　　考克森将这种心态称为一种“极其自负的豪赌”。

　　考克森明确指出，Anthropic内部深知风险，却仍被锁定在竞赛中。这不是因为他们是坏人，而是因为结构让他们别无选择。负责任地行事，在竞赛中反而变成劣势。于是，整个行业继续加速，奔向一个没人真正想要、却没人敢停下的方向。

　　递归改进是技术引擎，竞赛结构是社会引擎

　　如果细致一点分解，考克森的警告可以浓缩为这样的一条逻辑链条：

　　递归改进启动 → 能力加速 → 对齐窗口收窄 → 失控证据出现 → 内部人恐惧 → 公开沉默 → 竞赛结构锁死 → 集体无法刹车 → 时间窗口极短 → 需要外部强制暂停。

　　考克森认为，如果递归改进的过程不可阻挡，竞赛结构又导致无法自行刹车，那么外部强制暂停，可能就不再是激进主张，而是逻辑上的必然要求。