互动科普

随着人工智能系统变得越来越普遍，一些小错误造成危险后果的几率也在上升。比如，美国麻省理工学院的科学家最近就骗过了谷歌的一个人工智能程序，让程序错把一只塑料玩具龟当成一把来福枪。要是未来的机器人警察或者士兵犯下这种错误，可能将会引发悲剧。人工智能系统由数十亿个虚拟“脑细胞”构成，现在，研究者正在研发新工具，以便找出其中可能隐藏的“bug”。

很多图像识别程序、自动驾驶系统以及其他形式的人工智能，都使用了人工神经网络，研究人员把数据输入到该网络中被称作“神经元”的部分，然后依靠这些神经元彼此合作来解决问题——诸如辨别出路上的一个障碍物。人工神经网络的“学习”方式是，不断调整神经元间的连接，尝试不同的解决问题的方法。经过一段时间的学习，这套系统就能找出哪种神经连接模式效果最好。之后就会模拟人类大脑的学习过程，把这些模式作为默认设置。

美国哥伦比亚大学的计算机科学家杨俊锋（Junfeng Yang）认为，这项技术面临的一个关键挑战是，开发者通常并不知道神经网络是如何决策的，这导致出错后很难找出原因。2017年10月，在上海举行的一场专题讨论会中，杨俊峰和他人共同展示了一项新研究。

杨俊峰和同事开发了一个名叫DeepXplore的程序，通过逆向分析人工智能系统的学习过程，寻找系统中的漏洞。该程序会把真实世界中各种难以分辨的场景，输入某个神经网络进行测试，并且会在网络判断错误时予以告知，这样神经网络就能自行纠错。比如，DeepXplore能够判断，某个无人驾驶系统在接收到摄像机传入的照片后，是否会错误地把车导向行人。该调试工具还能监测神经网络中哪些神经元处在活跃状态，并且能单独测试每个神经元。杨俊峰说，之前的人工智能调试工具无法单独检查每个神经元。

对15个最先进的神经网络——包括一些用于自动驾驶和检测计算机恶意软件的人工智能系统进行测试后，DeepXplore新发现了数千个技术遗漏。DeepXplore把人工智能系统整体的准确率提升了1%至3%，某些系统的准确率甚至达到了99%。美国芝加哥大学计算机科学家卢山（未参与此项新研究）称，DeepXplore可以帮助科学家开发出“更准确、更可靠的”神经网络。卢山补充道，“这项技术对很多研究性学科和人们的日常生活都将产生积极的作用”。