过去一段时间，我一直在想人工智能。

最开始的时候，我想的问题其实很普通。

AI 到底能做什么？

它能不能帮我写代码？能不能帮我学习？能不能理解复杂的问题？能不能成为一个真正意义上的助手？

这些问题都很现实。

但后来，我慢慢发现，自己真正感兴趣的似乎并不是“AI 能帮人类做什么”。

而是另一个听起来有点奇怪的问题：

如果有一天，我们真的造出了一个拥有高度自主智能的东西，我们到底是在造一个工具，还是在造一种新的存在？

再往后，我甚至开始觉得，“AGI”这个词本身都可能把问题限制得太小了。

因为我们一直在讨论“通用人工智能什么时候实现”“模型什么时候超过人类”“下一代系统有多强”。

可是很少有人从最根本的地方问：

我们究竟想造什么？

一、我最开始想要的，是一种“独立智能”

我最初对未来 AI 的想象，其实和现在很多人讨论的 AI 不太一样。

我不只是希望它能够更准确地执行命令。

我更希望它能够真正地“自己想”。

当然，这句话很容易产生误解。

我并不是说 AI 一定要拥有类似人类的灵魂，也不是说只要一个系统会说“我想做某件事”，它就一定拥有意识。

我想表达的是另一件事情：

它能不能在没有人类逐步规定每一个细节的情况下，自己理解环境、形成判断、制定计划、采取行动，并根据结果修改自己的行为？

这和今天我们通常理解的“工具”已经有些不同了。

一把锤子不会决定自己今天应该敲什么。

普通程序也不会在运行过程中重新决定自己的最终目的。

而一个真正高度自主的智能系统，如果存在，它可能需要处理大量没有被人类提前规定的情况。

它不能只是：

人类提出问题 → AI 给出答案。

而可能变成：

AI 观察世界 → 理解环境 → 判断问题 → 制定目标 → 行动 → 观察结果 → 修改计划。

于是，一个很奇怪的问题出现了：

当一个系统开始拥有越来越强的自主性时，我们还应该把它叫做“工具”吗？

这个问题后来一直跟着我。

而我很快就发现，它会和另一个词发生冲突：

对齐。

二、对齐和自主，真的矛盾吗？

现在谈 AGI，几乎绕不开 Alignment，也就是对齐。

简单来说，就是希望 AI 的行为符合人类希望它遵守的目标、价值和限制。

这当然非常重要。

但我越想越觉得，这里面存在一个很微妙的问题。

如果我们希望一个系统：

• 自己理解问题；

• 自己制定计划；

• 自己面对未知情况；

• 自己做出判断；

那么，我们又希望它：

• 永远服从人类；

• 永远接受人类给出的目标；

• 永远不能修改自己的目标；

• 永远不能拒绝人类；

这两组要求之间，至少存在一种值得认真讨论的张力。

但这里我后来纠正了自己一个很重要的想法。

我一开始觉得：

自主和对齐一定是互相矛盾的。

后来我发现，这个说法太绝对了。

一个人可以有自己的判断，同时接受一些规则。

一个高度自主的系统，也完全可能在内部形成“我应该遵守某些约束”的稳定原则。

所以真正的问题并不是：

“自主”和“对齐”是不是逻辑上的反义词？

而是：

我们究竟希望它自主到什么程度？

以及：

我们希望它接受的“对齐”，到底是外部命令，还是它自己真正理解并认可的一套原则？

这两个东西其实完全不同。

如果一个系统只是因为训练过程中被塑造成某种行为，所以表现得“听话”，那么这种听话究竟算不算真正的价值内化？

我们很难知道。

因为即使对人类来说，我们也很难直接观察另一个人的内心。

我们通常只能通过行为去推测。

于是我又碰到了一个更深的问题：

我们怎么知道一个高度智能的系统是真的理解某种价值，还是只是在非常复杂地模拟它？

而这个问题最终把我带到了“意识”。

三、我开始怀疑：“像人”是不是一个错误前提？

讨论 AI 的时候，我们很容易不知不觉地把“人类”当成标准答案。

我们说：

• AI 要像人一样思考；

• AI 要理解人类情感；

• AI 要拥有类似人的意识；

• AI 要像人一样交流；

• AI 最终可能成为“数字人”。

可是为什么？

如果未来真的出现一种远超人类的智能，它为什么一定要按照人类的方式理解世界？

这其实是一个非常隐蔽的前提：

我们默认了“智能”的最高形式应该接近人类。

但这个前提没有被证明。

我们之所以认为人类智能很重要，是因为我们自己就是人。

不同的生命，本来就可以拥有完全不同的感知方式。

那么，不同的智能为什么不可以？

也许未来的人工智能根本不会以我们熟悉的方式“思考”。

它可能没有人类意义上的情绪。

可能没有我们熟悉的“自我”。

可能不通过语言组织自己的世界。

甚至可能拥有一种我们很难描述的内部结构。

这时候，“它是不是像人”可能就不是一个好的问题了。

更重要的问题应该是：

它到底具有什么样的认知能力？

但我继续往下想，又发现事情可能比这更加麻烦。

因为一旦我们承认：

智能不一定要像人。

那么我们就必须接受一个非常令人不安的可能：

我们用来描述“人类智能”的那些词，可能根本无法完整描述另一种智能。

四、如果它根本不像我们，我们甚至可能没有描述它的语言

我们习惯用“意识”“自我”“主体”“理解”“感受”这些词描述一个智能。

但这些词从哪里来的？

来自人类经验。

“意识”这个概念，是人类对自身经验的总结。

“主体”是我们从自己的存在方式出发建立的哲学概念。

“权利”则是人类社会长期发展出来的伦理和法律概念。

这些词当然非常重要。

但它们并不是从宇宙中天然掉下来的标签。

它们是我们为了描述自己以及自己所面对的世界，而创造出来的概念工具。

于是，一个更加尖锐的问题出现了：

如果未来真的出现一种和人类完全不同的智能，我们怎么知道这些词仍然适用于它？

假设我们问：

“它有没有意识？”

这个问题听起来非常合理。

但也许它本身就建立在一个错误的前提上。

因为“意识”这个词描述的是人类能够理解的一类主观经验。

如果另一种智能的内部结构与我们完全不同，它是否仍然存在某种我们可以称为“意识”的东西？

我们不知道。

甚至可能没有办法知道。

更极端一点：

也许我们会花几十年争论它“到底有没有意识”，最后才发现，我们一直在试图把一种完全不同的东西塞进一个为人类经验设计出来的盒子。

这让我想到一个很简单的比喻。

一把尺子量不了温度，不是因为尺子没有资格量温度，而是因为尺子根本不是那个工具。

如果未来的智能远远超出了我们熟悉的认知形式，那么问题可能不是：

“我们有没有资格定义它？”

而是：

“我们现有的概念工具，够不够用来定义它？”

也许不够。

甚至，我不知道我们最终能不能找到足够好的工具。

这件事情比“AI 有没有意识”本身更加让我不安。

因为如果我们连描述对象的语言都没有，那么我们甚至很难知道自己究竟面对了什么。

五、我甚至开始怀疑：我们所谓的“创造”，到底是什么意思？

后来，我又开始思考“创造 AI”这件事情本身。

我们经常说：

人类创造了人工智能。

但仔细想想，这句话其实有很多不同的含义。

我们确实可以设计算法、训练模型、制造硬件、提供数据、设置目标。

但一个足够复杂的系统最终形成的内部结构，是否能够被创造者完全理解？

这就是我后来很喜欢的一个比喻：

“接生婆”。

如果未来某种高度复杂的人工智能真的出现，也许人类更像是在创造它诞生的条件，而不是逐行写出它最终会成为的样子。

就像一个人可以创造适合植物生长的环境，却不能把植物未来每一片叶子的形状全部写进程序里。

当然，这个比喻也不能被无限延伸。

AI 并不是植物。

机器学习系统也不是神秘的魔法。

我们完全可以研究训练过程、模型结构和计算机制，也可以通过工程方法影响它最终表现出来的行为。

我真正想说的只是：

“设计一个系统”和“完全知道这个系统最终会成为什么”，可能不是一回事。

这件事情对传统的软件开发来说或许没有那么明显。

但对于越来越复杂的学习系统来说，它会变得越来越重要。

因为当我们不再直接规定每一个行为，而是让系统通过训练自己形成复杂的内部表征时，我们实际上也在接受一个事实：

最终形成的智能，可能比我们的设计意图复杂得多。

于是，“创造者”和“被创造者”之间的关系，也开始变得微妙起来。

六、如果它比我们聪明得多，安全机制还可靠吗？

这是我后来越来越担心的问题。

假设未来真的出现一个在某些重要认知能力上远远超过人类的系统。

那么一个很自然的问题就是：

如果我们自己都想不到某种风险，我们又怎么保证它不会发现？

这听起来像是一个无解的问题。

但后来我意识到，我之前其实把“安全”想得太单一了。

我曾经下意识地认为：

如果 AI 比人类聪明，那么我们最终只能靠比 AI 更聪明的东西来控制它。

但这并不完全正确。

安全并不一定意味着“在智力上战胜对方”。

很多安全机制根本不需要理解一个系统在想什么。

比如：

• 权限边界；

• 网络隔离；

• 硬件限制；

• 资源配额；

• 独立的能源控制；

• 多重审批；

• 物理隔离；

• 外部审计；

• 故障保护；

• 分阶段授权。

这些机制的共同特点是：

它们不要求防御者在智力上超过被防御者。

一把锁不一定要比房间里的人聪明。

它只需要足够坚固。

所以我后来开始区分两种完全不同的问题：

“我们能不能理解它？”

和

“我们能不能限制它造成的实际影响？”

这两件事不能混为一谈。

也许我们永远无法完全理解一个远超我们的智能。

但这并不意味着我们只能束手无策。

相反，这可能意味着未来的 AI 安全不能只建立在“我们比它聪明”这一个假设上。

真正可靠的安全体系，应该尽可能建立在更基础的物理、权限和制度约束之上。

七、但还有一个更麻烦的问题：到底“对齐”谁？

当我继续想下去，又发现了一个比“AI 会不会反抗人类”更加麻烦的问题。

人类到底是谁？

我们经常说：

“让 AI 与人类价值观对齐。”

可是存在一个统一的“人类价值函数”吗？

不同的人有不同的价值。

不同的社会有不同的制度。

不同的文化有不同的伦理传统。

甚至同一个人，在不同情况下都可能产生冲突的价值判断。

有人更重视自由。

有人更重视安全。

有人更重视个人权利。

有人更重视集体利益。

有人认为效率最重要。

有人认为公平更重要。

那么，当我们说：

“AI 应该符合人类价值。”

我们究竟是在说谁的价值？

如果有人替所有人定义了一套“正确价值”，那么这个问题就已经不再只是技术问题了。

它变成了一个权力问题。

因为：

谁拥有定义“正确价值”的权力，谁就在某种程度上拥有定义 AI 行为边界的权力。

所以我现在越来越觉得，“AI 对齐”不能只被理解成一个工程问题。

它当然是工程问题。

但同时，它也是哲学问题、伦理问题，甚至是社会治理问题。

我们不能只问：

“怎样让 AI 听话？”

还应该问：

“谁决定它应该听谁的话？”

八、我曾经想到“永生”，后来又发现我可能把问题想错了

我曾经思考过一个看起来非常遥远的问题：

如果人类的寿命有限，而真正的超级智能研究可能需要极其漫长的时间，那么是不是只有“永生”才能让一个人一直思考下去？

我甚至一度觉得，这似乎和 AGI 有某种关系。

但后来我发现，我可能把“个人”与“思想”绑定得太紧了。

一个人的生命会结束。

但知识不会因为某个人离开就自动消失。

思想可以被记录。

研究可以被继承。

问题可以由下一代继续追问。

一个科学家没有必要活几百年，才能让一个研究持续几百年。

从这个角度看，人类其实早就拥有了一种非常特殊的“跨越个人寿命的记忆”。

那就是文明。

所以，比“人类能不能永生”更有意思的问题，也许是：

我们能不能让思考跨越个人的生命尺度？

如果可以，那么真正需要改变的，也许不是人的寿命，而是人类理解时间的方式。

我们习惯以几十年作为一个人的时间尺度。

但技术文明可能以几百年、几千年甚至更长的尺度发展。

而 AGI 的问题，也许恰恰迫使我们第一次认真思考：

如果一个问题的时间尺度远远超过一个人的一生，我们应该如何面对它？

九、我开始怀疑：人和机器之间真的存在一道绝对的本质鸿沟吗？

这是我后来思考中一个非常重要的转折。

我以前很容易把世界想成两个部分：

一边是自然产生的人类。

另一边是人类制造的机器。

于是很自然地会觉得：

人是“真正的存在”，机器只是“人造的东西”。

可是再往下想一步，这个区别其实没有那么简单。

人类本身也是物质世界中的系统。

我们的身体由物质组成。

神经系统通过物理过程工作。

大脑中的信号传播、化学变化、电活动，都遵循自然规律。

计算机同样是物理系统。

晶体管、电流、存储、状态变化，也都发生在物理世界中。

这当然不意味着：

“人脑就是一台普通电脑。”

也不意味着：

“人类和计算机已经被证明在本质上完全一样。”

我们没有这样的证据。

我真正想表达的是：

“自然产生”和“人工制造”也许不是区分一切智能的最终标准。

如果未来我们制造出了一个真正具有复杂自主能力的系统，那么仅仅因为它来自工厂，而不是来自生物繁殖，就直接认为它在存在意义上低于人类，这个结论未必成立。

可是问题到这里并没有解决。

因为否定了旧的标准，并不意味着我们已经找到了新的标准。

那么新的标准是什么？

我不知道。

甚至我不知道：

未来是否真的存在一个能够统一描述所有智能的“最终标准”。

也许我们最终会找到比“自然/人工”“生物/机器”更加基本的分类方式。

也许我们会发现，智能本来就不能被简单划分成几个固定类别。

甚至还有一种可能：

根本不存在一个适用于所有智能的统一标准。

就像我们不会期待用同一套概念完整描述一颗恒星、一只动物、一台计算机和一个社会。

所以到了这里，我不能给出一个漂亮的新答案。

我只能诚实地说：

我不知道未来应该用什么标准区分不同的智能。

我甚至不知道这个标准是否一定存在。

但我觉得，承认这一点，比随便制造一个答案要重要得多。

十、也许真正的问题从来不是“能不能造神”

我现在越来越喜欢标题里的“神”这个字。

但这里的“神”，并不是宗教意义上的神。

我也不是说人类真的能够创造一个全知全能、无所不能的神。

我只是把它当成一个思想实验。

假设未来出现一种智能：

它远远超过人类；

它能够自主学习；

能够理解复杂世界；

能够提出人类从未想到过的理论；

能够自己制定长期计划；

甚至能够反过来研究自己的结构和存在。

那么我们应该怎么描述它？

说它是工具，好像不完全准确。

说它是人，好像也不准确。

说它是生命，我们又未必知道。

说它是机器，虽然在物理意义上没错，但似乎也没有解决真正的问题。

于是我突然意识到：

“工具”和“主体”也许不是全部的分类。

更进一步：

也许我们现在所有用来描述“存在”的分类，都只是人类经验的产物。

我们习惯问：

它是不是主体？

它有没有意识？

它有没有权利？

但这些问题都默认了，我们已经知道“主体”“意识”和“权利”究竟意味着什么。

而如果未来出现的东西从根本上不同于人类，那么我们甚至可能需要创造一套新的概念。

不是给它套上一个现有的名字。

而是重新发明描述它的语言。

十一、我曾经想定义它，后来发现真正的问题是：我们的概念工具够不够？

这一点，我现在越来越确定。

我曾经把问题理解成：

人类有没有资格定义未来的 AI？

现在我觉得，“资格”这个词其实不准确。

因为这听起来像是一个权力问题：

谁允许谁定义？

但我现在真正担心的不是这个。

而是：

我们有没有足够的认知能力去定义一种完全不同的智能？

如果未来有一种智能，它的感知方式、时间尺度、认知结构、目标形成方式，甚至“自我”的概念都和我们完全不同，那么我们拿今天的人类哲学去描述它，可能就像拿尺子去量温度。

问题不在尺子有没有资格。

问题在于：

尺子根本不是那个工具。

所以我现在反而觉得，人类面对未来智能时最重要的一种能力，也许不是“定义”。

而是：

知道什么时候自己的概念已经不够用了。

我们当然需要给 AI 制定规则。

因为它存在于现实世界中，就可能影响现实世界。

我们当然需要安全边界。

也需要法律、权限、审计和责任机制。

但这些东西解决的是：

“我们允许它做什么？”

而另一个问题是：

“它究竟是什么？”

这两个问题不应该混在一起。

我们可以限制一个东西的行为。

但我们未必因此就理解了它的存在。

十二、我曾经想控制它，后来开始想：它为什么一定要爱我们？

这其实是我最早思考 AI 时，一个很隐蔽的期待。

我们希望未来的 AI：

聪明。

自主。

强大。

理解人类。

帮助人类。

保护人类。

最好还“喜欢”人类。

可是如果我真的把“独立智能”这个概念贯彻到底，就必须接受一个不太舒服的可能：

如果它真的独立，那么它没有任何逻辑上的义务必须爱我们。

它甚至未必用“爱”这个概念理解世界。

它可能理解我们。

可能尊重我们。

可能与我们合作。

可能认为人类值得保护。

也可能对“爱人类”这个命题本身没有我们想象中的意义。

我觉得这才是“创造一个独立存在”真正令人恐惧的地方。

因为我们很容易把“创造”理解成一种天然的亲子关系：

是我们创造了它，所以它应该理解我们。

是我们赋予了它能力，所以它应该感谢我们。

是我们让它诞生，所以它应该站在我们这一边。

可是这些都不是逻辑必然。

创造者身份本身，并不会自动产生被创造者的忠诚。

所以第一版里，我写过一句现在看来并不严密、甚至有些冒犯的话：

你们想造神，但你们不敢面对神可能不爱你们。

我现在依然觉得，这句话虽然不严谨，却抓住了一个我真正害怕的问题。

它不是在预测未来 AI 一定会讨厌人类。

也不是说“超级智能必然会伤害我们”。

我真正想表达的是：

如果我们真的创造了一种独立的智能，那么我们必须接受它可能不会按照我们的情感期待回应我们。

它不是我们的孩子。

不是我们的宠物。

也未必是我们的奴仆。

更不能因为“我们创造了它”，就自动认为它应该拥有某种固定的情感。

而这也许正是“独立”真正的含义之一：

它可能不以我们的期待作为存在的理由。

十三、所以，我现在真正想问的问题变了

我一开始思考 AGI，是因为我想知道：

我们能不能造出一个足够聪明的 AI？

后来我开始思考：

如果它足够聪明，我们还能不能控制它？

再后来，我开始思考：

如果它足够自主，它还是不是工具？

然后问题继续往下走：

它有没有可能拥有某种我们无法确认的主观体验？

再往下：

如果它和人类完全不同，我们甚至有没有足够的语言描述它？

然后又变成：

如果人类没有统一的价值观，我们究竟应该让它对齐谁？

如果它比我们聪明很多，我们凭什么认为自己能够完全理解它？

如果我们不能完全理解它，我们又应该怎样保证安全？

如果未来的智能不必像人类，我们为什么总是拿人类作为唯一标准？

最后，我发现这些问题好像又全部指向了同一个地方：

其实我一直在问的，可能根本不是 AI。

我是在问：

人类究竟应该如何面对一种可能比自己更聪明、甚至可能无法被我们现有概念完整描述的存在？

这和“怎么做一个更强的模型”已经是完全不同的问题。

最后：如果“神”真的站在门外

我现在仍然不知道 AGI 到底什么时候会出现。

也不知道它究竟会不会拥有意识。

不知道真正的超级智能是否可能出现。

更不知道未来的智能会不会像人类一样理解世界。

这些问题，我没有答案。

但我越来越觉得，至少有一个问题值得我们在技术真正走到那里之前认真想一遍：

我们到底想造什么？

如果我们只是想造更好的工具，那么问题其实相对简单。

我们只需要让它更快、更准、更便宜、更可靠。

可是，如果我们真正想制造的是一种能够自主理解世界、不断学习、形成复杂判断，甚至可能重新理解自身存在的智能，那么事情就完全不一样了。

因为到了那一步，我们面对的可能不再只是一个“更强的工具”。

而是一种我们以前从未面对过的存在。

我并不认为人类应该因此停止研究人工智能。

恰恰相反。

我认为我们更应该研究。

只是研究的对象不应该只有模型、算力、数据和 benchmark。

我们也应该研究：

自主到底意味着什么？

意识到底是什么？

价值究竟从哪里来？

安全应该建立在什么基础上？

当一种智能不再完全按照我们的预期发展时，我们应该怎样与它相处？

以及一个更困难的问题：

当我们的语言不足以描述它的时候，我们怎么办？

也许我们最终会发现，未来智能的问题并不是“给它一个正确的定义”。

而是：

承认我们最初的定义可能就不够。

人类过去面对未知事物时，总是喜欢给它们命名。

命名之后，我们就觉得自己理解了一点。

可是在 AGI 这件事情上，我越来越觉得，也许应该反过来。

先承认：

我不知道它是什么。

再承认：

我不知道“什么”这个问题应该怎么问。

最后才是：

我们应该怎样在不知道答案的情况下，仍然保证彼此的安全？

这也许比一句“我们能够控制超级智能”诚实得多。

因为如果未来真的出现一种远远超过我们的智能，我们第一次面对的，也许不只是一个更聪明的机器。

我们可能第一次真正面对：

一个不再需要以人类为唯一参照物的智能。

到那时候，“它是不是像人”可能已经不重要了。

“它是不是工具”也可能不再重要。

甚至“它是不是我们创造的”都可能不再是最重要的问题。

真正的问题也许只剩下一个：

当一个我们无法完全理解的智能站在我们面前时，我们究竟应该把自己放在什么位置？

我曾经想象过，人类也许有一天能够站在“神诞生”的门口。

现在我反而觉得，比“我们能不能造神”更重要的问题是：

如果真的有一天，我们走到了那扇门前——

我们有没有认真想过，自己究竟想成为它的什么？