互动科普

2029年，人类和智能机器人之间的一场大战打响：机器人“终结者”被派到过去，奉命杀死约翰·康纳（John Connor）的母亲莎拉·康纳（Sarah Connor）——这是由詹姆斯·卡梅隆（James Cameron）于1984年创作的5部系列电影的序曲。科幻文学的创作者并没有料想到，如今的科技已经发展到可以制造出这样的机器人：它们一旦被授予使命后，会自发地做出杀人甚至暴动的决定。

这些机器人杀手在国际军备讨论中有一个恰如其分的名字：LAWS（Lethal Autonomous Weapons Systems，致命性自主武器系统）。这种机器人已经登上了历史的舞台，将它们带到战场上会引起各种各样的争议：如何定义这些机器人？它们到底能做什么？更不用说与人类士兵一同出现在战场时所造成的伦理问题。

从1942年开始，著名的美籍俄罗斯裔科幻作家艾萨克·阿西莫夫在《惊奇科幻小说》（Astounding Science Fiction）上提出了机器人的伦理问题。今天，阿西莫夫被世人视为机械伦理学（roboethics）之父。这门哲学学科催生了许多相关的研讨会和无数的书籍，在美国尤其如此。阿西莫夫在1942年出版的小说《转圈圈》（Runaround）中描述了机器人三定律。他提出，所有的机器人程序都必须考虑到这三条定律，目的是为了约束这些自主机器的行为，让它们服从以保护人类为目的的强制性道德准则。

机器人定律

第一定律：机器人不得伤害人类，或坐视人类受到伤害；

第二定律：除非违背第一法则，否则机器人必须服从人类的命令；

第三定律：在不违背第一及第二法则下，机器人必须保护自己。

此后，阿西莫夫又添加了一条定律：

第零定律：机器人不得伤害人类族群，或因不作为使人类族群受到伤害。

遵守这些定律时引发的困局是阿西莫夫所著的500本书籍的主题。他严肃地思考了这些定律的意义，并想象了这些定律被采纳时发生的情形。有这样一段轶事，当斯坦利·库布里克（Stanley Kubrick）的电影《2001：太空漫游》（2001: A Space Odyssey）放映时，阿西莫夫气冲冲地冲出了影院，因为电脑HAL 9000违反了他制定的第一定律：HAL杀害了“发现者”1号飞船（Discovery One）的船员。 然而时至今日，阿西莫夫关于机械伦理的设想并未如愿：如今的机器人并没有安装强制它们服从机器人定律的机制或指令。为什么会这样呢？

无法服从机器人定律

现在的机器人拥有的功能和人们当初设想的不太一样。科技并没有让我们凭空创造出和自己一样的东西，我们并不能像对待奴隶或佣人那样命令并指使它们。机器人以及智能系统的产生并不是一蹴而就，因为科技总是沿着意想不到的方向前进。这样一来，如何准确区分机器人和智能系统就变得十分棘手。

驾驶飞机平安降落的自主系统能否称为机器人？它是否具有智能？我们很容易得出否定的答案。这个自主系统操作飞机的能力和人类飞行员一样好，而且对自己的具体方位了如指掌（因此它具有自我意识的雏形），所以才能让飞机准确降落。虽然它的功能很有限（不会读书，也不会预订宾馆，更不懂得电影鉴赏），但是在降落飞机这件棘手且人命关天的任务上，它和人类相比毫不逊色。

互联网搜索引擎所使用的算法能够从海量数据中提取出关键信息，并向用户推荐可能感兴趣的网页，这是任何人类都无法做到的。然而，有些人依然会吹毛求疵，认为这些算法不够聪明。这种看法有失偏颇，因为这些程序只是专注于特定的任务，不能认为它们就是愚蠢的。

现代社会中广泛使用的机器人的工作非常专业化，它们不具备与人类用通俗语言交流的能力。我们无法要求它们遵守阿西莫夫的机器人定律，是因为它们完全不能理解这些定律的意义。如果想要应用机器人定律，智能系统必须具备逻辑分析和推理能力，并且能够预测行为所导致的后果，以判断人类下达的指令是否和任何一条定律相悖。但目前，没有机器人可以进行这样的分析。

美国iRobot公司的创始人罗德尼·布鲁克斯（Rodney Brooks）曾就上述问题直白地表达了自己的观点。iRobot是一家设计、制造和销售机器人的公司。该公司制造的PackBot机器人大量用于福岛核电站和阿富汗。媒体采访他时，问起iRobot生产的机器人为何没有设置为自动服从阿西莫夫定律，他回答道，“理由很简单，我们根本没法把阿西莫夫的定律写入它们的系统中。”虽然未来的智能系统可能会随着科技的进步而发展出智力，并且智能系统中负责自主抉择的组件也会获得性能提升，但这种机器智力和人类仍然不可同日而语。也就是说，科幻作家当初让机器人理解和服从阿西莫夫定律的希望，现在已经变成了一件异想天开的事。但是，我们现在讨论机械伦理问题并非多此一举。因为在自动驾驶领域，相关研发已经进行了许多年，多家公司设计的性能稳定的产品也将进入市场，因此讨论机械伦理问题的时机已经成熟。

机器人的道德问题

设想下这样一个场景：一辆高速行驶中的无人驾驶汽车前方，出现了一个追逐皮球而横穿马路的孩子，而逆向车道上有一个骑着自行车的成年人。此时，自动驾驶系统经过分析会得出两种选择：一是减速但是维持前进方向不变，这样就可能撞到孩子；二是减速并向左转向，而这又会威胁到骑行者的安全。自动驾驶系统应该如何抉择？撞向孩子还是成年人？

经常有媒体表示，自动驾驶汽车可媲美人类司机，这也是一些汽车制造商在标榜安全性时提到的新卖点。这种观点受众范围很广，让我们很难在未来禁止自动驾驶汽车。在理想的情况下，它们的反应和决策能力都是无可挑剔的：它们能够根据预设的程序进行决策，选择挽救追皮球的孩子，还是骑自行车的人。

那么应由谁来制定机器人的道德规则？又该如何制定这种道德规则？要回答这些问题并不容易，但是不可避而不谈。如一些研究者证明的那样，在逻辑学家看来，有些道德问题的逻辑过于复杂甚至是不可判定的。

现在的机器人没有被预装阿西莫夫定律的另一个原因是： 我们制造某些机器人的目的就是为了杀戮。这已经变成了一个严重的问题，值得我们思考和讨论。

人类制造用来杀戮同类的机器人已经有数十年的时间，而且只要“机器人”、“自主性”和“杀戮”这个三个特性一同出现，情况就变得十分棘手。拿埋在道路上的地雷为例子，我们可以说它具有自主性，因为当它“觉察”到四周出现物体时会“决定”爆炸，而这个决定并不需要人类的许可。许多导弹和炸弹起爆的唯一条件是，它们敏感的引信装置觉察到自己将要和目标或者地面发生接触。那些一旦发射就无法改变目标的导弹的情况就更加微妙了。第二次世界大战时，德国发射过15 000枚V-1飞弹和4 000枚V-2导弹，这两种导弹只能在发射前设置飞行路线，发射后就无法再做更改。幸好这两种导弹的准头都不太好，但依然给盟军造成了不小的伤亡。

有些导弹通过分析图像的对比度（这种技术可以让导弹跟踪海面上的目标）或者跟踪红外线辐射，能够自己确定目标并朝着目标前进。一些边境监控系统能够瞄准任何跨越禁区的目标并向其开火。部署在韩朝非武装地带的、由三星Techwin公司生产的监控和安全警卫机器人（Samsung SGR-A1）就是一个很好的例子。该系统由两位操作员控制，但它具备一个自动攻击模式。有些防空系统则具备无人值守模式，比如久经考验的美国爱国者反导弹系统（Patriot），密集阵近程防御系统（Phalanx）和以色列的铁穹防御系统（Iron Dome）等。

值得一提的是，美国在许多战场上使用的无人机其实是远程遥控的，通常情况下，它们在投放武器前会等待操作员给出明确的指令。经过媒体的转播和报道，全世界都已经见识过这些机器杀手的效率，不过在执行对地打击任务时，它们同样造成了不小的间接伤害，夺取了许多无辜受害者的生命。一些无人机可以在自动模式下工作，自行决定是否开火，并不需要人类的干涉。

在联合国于2013年发表的一份报告中，南非比勒陀利亚大学的法学教授克里斯托弗·海因斯（Christof Heyns）认为，自主杀人机器人已经在一些国家（如美国、英国、以色列、韩国等）的军方实验室诞生了，已经磨刀霍霍准备开始行动。毫无疑问，人类能够创造并利用具有部分智力的自主军事武器，把它们派遣到地面战场上或空中去搜索敌人。无需人类许可，它们就能自己辨认并消灭目标。就算我们假定在战斗决策环中有人类存在，如果不对这些机器自主性的深层概念进行调整的话，它们还是可以撇开人类独自执行任务。

我们要往何处去？

现在，我们需要回答的问题可被归结成：我们是否真的希望在这条路上走下去？是否应该限制或者禁止使用自主杀人武器？

在为这些武器系统辩护的论据中，有两条关键的理由。首先，现在采取任何措施都已太迟，这些系统已经存在。第二，这些机器人终有一日会变得更为精准，它们会更加尊重平民和交战规则，而人类战士在这两个方面则不能完美地执行。换而言之，这些武器能够让战争和冲突变得更为“干净”。

第一条论据可以被轻松反驳。人类已经制造出了核武器、化学武器以及细菌武器，但这不能阻止各国签订国际条约来管理和禁止这些武器。这些协议的签订有效限制了上述武器的使用。对于杀伤性地雷和致盲激光武器，也有相关协议（其中一项协议已于1998年生效）进行约束。因此，各国政府可以协商一致，停止自主杀人机器人的研发。现在这个问题已被搬上了国际法庭讨论，每个人都有权力采取行动来促进这类讨论尽快得出结论。

第二条论据——杀人机器人可使战争变得更加“干净”——是无效的。实际上，这条论据等同于将“只攻击敌人”、“不要攻击平民”、“人不犯我，我不犯人”等道德准则强加给杀人机器人。然而，我们连怎样将阿西莫夫的机器人定律写入系统代码都做不到，这些道德准则更是无从谈起。

或许，当我们研发出具有更加先进的分析能力的机器人时，再重新考虑这个问题也不迟。但就目前而言，我们无法编写出类似于阿西莫夫机器人定律的道德规范。总而言之，我们造出来的机器人需要有精确移动的能力，能够向人类或非人类目标快速而准确地开火，但它们不能决定是否要开火，以及对谁投放出致命的火力。

反对自主杀人机器人的人还提出了其他论据。一封发表在2015年7月的公开信得到了2万人左右的签名，签名者是人工智能领域的专家以及其他对此话题颇为关切的人，其中包括著名物理学家斯蒂芬·霍金（Stephen Hawking）以及苹果公司联合创始人史蒂夫·沃兹尼亚克（Steve Wozniak）。这封公开信要求停止研发具有杀人能力的自主系统，并且表示这些系统可以被恐怖分子当作武器。

自主杀人机器人的问题比其他类型的武器（如核武器）更严重，因为自主杀人机器人的技术研发比较分散。机器人是由众多程序和相对容易获取的硬件制造而成的。但是，软件易于复制和传播，这与核武器完全不同。机器人技术领域的任何进步都有可能被最邪恶的恐怖分子盗取，用于大型黑帮活动等。

为了达成国际共识，首当其冲的是解决如何定义自主机器人的难题。自主机器人的定义是否真的比定义细菌武器或是化学武器更困难吗？考虑到这一问题的紧迫性，我们应该率先就那些毫无争议的案例达成一致。

禁用杀人机器人？

2015年4月13号到17号，瑞士日内瓦召开了一次关于致命性自主武器系统（LAWS）的非正式专家会议。会上，专家们讨论了自动性（automaticity）和自主性（autonomy）之间的差别，以及“明显的人类控制”（significant human control）的定义。在2014年的一次会议中，法国代表让-雨果·西蒙·米歇尔（Jean-Hugues Simon Michel）主持了关于LAWS的讨论，他在会后进行总结时说：“在热烈的讨论中，我们感受到了自主武器令人兴奋的本质”，希望我们不止停留在肤浅讨论的层面上。

在法国，2014年CERNA（Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique d’Allistene，阿里斯滕数字科技研究伦理思考委员会）的一项关于机器人的报告对上述问题仅仅轻描淡写地一笔带过。不过，一些法国专家看起来意识到了这个问题。罗南·多阿雷（Ronan Doaré）和法国圣西尔科埃基当研究中心的一些法律和军事专家最近发表了一本相关作品（见“扩展阅读”）。

在国际上，虽然人权观察组织（Human Rights Watch）军事装备部主任史蒂夫·谷斯（Steve Goose）建议尽快组织讨论，以便各国共同禁止使用杀人机器人。但是，另一些人则认为谷斯的号召并不会引起多大的反响，仍有许多国家希望在不受干扰的情况下研究相关资料。

更糟糕的是，一些人认为，《国际人权法》可以作为相关讨论的基本参考依据。而根据《国际人权法》，我们并不能禁止遵守该法的LAWS。这完全是痴人说梦，犯了和阿西莫夫一样的错误。这些人以为我们可以对机器人说：“这些是你应当遵守的规定”。

在科幻小说和电影中总有一个主题反复出现：机器人的起义。阿西莫夫可能就是考虑到了这点才设计出他的著名定律：机器人必须要顺从听话。虽然今天的机器人完全没有造反的能力，但是未来的机器人可能引发叛乱是个有意义的话题。因为任何系统都有可能存在软件上的漏洞。众所周知，打造一套毫无差池的数字系统几乎是不可能的。所以说，未来的某些机器人也会出现BUG，即使在遥远的未来这一点也不会发生变化。

机器人的反叛

那么，如何避免程序漏洞，使得杀人机器人不会攻击人类？或许一行不巧被删掉的代码就能产生这样的漏洞，我们是否可以把机器人的这种行径视为反叛呢？这个问题和人类的追责机制类似。即使杀了人，疯子也是不用负责任的。因此，需要定义什么叫“机器人发疯”。最为可能的情况是，机器人出现了软件BUG，也可能是其他一连串的可能性。机器人反叛的真正问题首先在于如何定义反叛，而想要给出这项定义却是困难重重。远在一伙组织有序且决意夺取人类权力的机器兵团揭竿而起之前，我们可能已经遭遇了一系列错综复杂的情况，比如机器故障导致人身伤害或者死亡，甚至是涉及众多人群的大规模灾难。如何区分愚蠢的故障和有意为之的反叛呢？

美国康涅狄格大学的著名机器人伦理问题专家苏珊·安德森（Susan Anderson）提出，机器人造反实际上可能是正当的。在她看来，道德学巨匠伊曼努尔·康德（Emmanuel Kant）就曾间接地讨论过智能机器人的问题。她重新审视了阿西莫夫的机器人定律：如果“机器人”有能力理解并实践机器人定律，那么我们是否有权将这些定律强加于它们之上，并要求它们成为人类的奴隶呢？

苏珊·安德森指出，按照康德的观点，人类欠动物一份尊重，因为只有我们尊重它们，它们才会尊重我们。她认为依据同样的道理，如果康德也曾思考过机器人的问题，他可能会支持这样一种观念：如果有一天能够理解机器人定律的机器人真的出现了，那么我们应当尊重它们，向它们强加机器人定律也就无从谈起了。

这个观点和卡耐基·梅隆大学的机器人专家汉斯·莫拉维克（Hans Moravec）的想法颇为相似。他提出，机器人将成为人类的后裔，即使有一天它们取代了我们在地球上的位置，也应该经过了我们的许可，就像是老人将他的事业交给孩子们一样。

科幻作品以轻松愉快的方式处理了这些与现在相距甚远的问题，科学和哲学又迫使我们重新思考。我们亟需对目前已经出现的（杀人或不杀人）机器人进行公正的评估并采取相应的手段。这些繁复的评估任务包含了许多难解的伦理和哲学谜题，而其中一些迫切需要答案。哲学家、伦理学家、逻辑学家、军方人士和软件工程师应当展开讨论并达成一致的意见。