互动科普

制造比人类更聪明的机器，会不会带来麻烦？对于这个问题，争论从来没有停止过。当初，如果是猩猩偶然制造出人类，现在，这种生物反而使许多灵长类动物都处于濒危状态，假如能重新做选择，大猩猩肯定不愿意让人类分化出来，形成全新的物种。当面对同样的选择时，我们也应该仔细想想，高级人工智能的出现为什么会成为一个必须要讨论的问题？

好莱坞影片经常会出现这样的套路：邪恶的机器意识觉醒，自发地驱使机器人军队，对人类大开杀戒，但实际上这样的场景显得很傻。真正的问题是，人工智能虽然可以非常好地完成一系列工作，但是，这些工作却不一定是我们想让它做的。1960年，控制论之父、传奇数学家诺伯特·维纳（Norbert Wiener）曾经说过：“如果使用一套无法有效干预的机械装置，希望它帮助我们完成某个意图⋯⋯我们最好能提前确认，输入机器的意图和我们希望达成的目标是一致的。”

拥有特定目标的机器通常也会拥有其他属性，比如，我们在讨论有生命的物体时常说到的：保证自己的生存。对于机器来说，这种属性并不是与生俱来的，也不是由人设计的。这个目标是一种逻辑上的必然，因为如果它死掉，就无法完成最初安排的目标了。如果我们开发了一套仅仅用来端茶递水的智能机器，它很可能在执行任务的过程中，采取一系列极端手段，确保目标能够完成。比如，让自己的关机键失灵，或者干掉干扰它执行任务的人。如果我们不够谨慎，很可能面临一场全球性的“国际象棋比赛”：以真实的世界为棋盘，对抗意志坚定的、目标与人类有冲突的超级智能机器人。

在卷入甚至输掉这场比赛的可能性面前，计算机科学家需要严阵以待。有些学者认为，应该将机器关进防火墙里，这样我们就可以向它索取特定问题的答案，阻止它们对真实的世界产生影响了。当然，这就意味着我们放弃超级智能机器人。不幸的是，我们无法做到这一点，我们连抵制人类自身发动的攻击的优质防火墙都没有开发出来，更不要说是阻止超级智能机器人了。

那我们能否正面应对维纳提出的警告？我们能不能设计出一种人工智能系统，使它的目标不会与我们的相冲突，这样就可以让我们欣然地接受它们的各种行为？显然，事情远远没有这么简单，这可能就像瓶中精灵的故事一样。虽然精灵可以帮助人们实现任意三个愿望，但是，在故事的结尾，主人公许下第三个愿望时，总是要求不要让前两个愿望实现。不过我相信，如果遵循以下三条核心原则，人类很有可能造出符合我们期望的超级智能机器人。

★ 在执行任务的过程中，机器人必须最大化地实现人类的价值（value）。尤其是，机器人不能有自己的意志，也不能产生保护自我的内在意图。

★ 一开始，机器人对人类的价值观绝对不能有清晰的认识。这一点很关键，因为这样就能避开维纳的问题。当然，在运行的过程中，机器人可能会一点点学会人类的价值观，但是，它可能永远也不能完全掌握这些信息。

★ 机器人必须通过观察人类做出的选择来学习人类的价值观。

头两条原则可能有些反直觉，但是不难看出，把这两条原则放到一起，就能避免机器人想方设法使自己的开关键失效的问题。机器只知道要让人类的价值最大化，而不知道这种价值具体指的是什么，所以，当人准备关掉机器的开关时，它就会认为这是一件好事，因为它能明白人类按下关机按钮是为了让机器人不做违背人类价值的事。因此，机器人就会知道自己有些事情是不能做的，它们会积极地保持开关关闭。这些种回应，都是基于它还不完全理解人类的价值观。

第三个原则是从AI的子领域，反向强化学习（inverse reinforcement learning，IRL）中借鉴来的。这个领域强调，通过观察一些实体的行为（包括人类、犬科动物或者袋鼠），学习它们的价值观。这个领域还处在婴儿期，但是也能抽提出一些实用的算法来设计智能机器。

由于人类既不理性，又不能坚守原则，意志还很薄弱，不同人在不同阶段的智力也千差万别，所以我们的行动并不总能反映我们的价值观。这些都是IRL算法在演化过程中必须处理的问题。另外，人类也展现出了丰富多彩的价值观，这就使机器在面对人与人之间潜在的冲突和价值取舍时，必须保持机警和敏锐。而且，机器不该帮助作恶的人，也不该模仿他们的行为。

尽管存在各种困难，我还是相信，机器可以充分学习人类的价值观，在帮助我们的同时不对我们构成威胁。除了直接观察人类行为以外，机器还可以通过获取大量的文字或视频信息，学习人类的行事方式（以及其他反应）。设计理解音视频和文本信息的算法要比从头设计超级智能机器简单得多。对于机器人以及机器人制造商来说，理解和掌握人类的价值观也有非常大的经济价值：如果某个倒霉鬼没有认识到猫的情感价值比营养价值更重要，设计了一个烹饪猫的家用机器人，恐怕整个家用机器人行业都要因此破产。

虽然十分妥善地解决安全问题并不容易，但是只有这样做，才能让人工智能走得更远。在迎接超级智能到来之前，我们可能还有好几十年的时间做准备，我们不应该像一些人工智能研究者那样放任可能面对的问题。在面对这个问题时，有人认为，只要与机器人一起工作，就能与它们和谐共存。但是，假如机器人的目标和人类的不同，就很难共存；另外一些人认为，只要“把它们关掉”就可以了，但这样的设想只有把超级智能机器人设定得特别傻才行；当然，还有一些人认为，超级人工智能将永远也不会实现，但这只是逃避。在1933年9月11日，著名物理学家恩尼斯特·卢瑟福（Ernest Rutherford）曾自信满满地说：“任何试图通过改变原子来获取能源的人都是空想。”然而，1933年9月12日，物理学家雷欧·希拉德（Leo Szilard）就已经构想出通过中子引发的链式核反应了。