互动科普

一种新型“运动显微镜”，能够揭示出那些看似静止的物体与人体所发生的细微变化。

我们相信，也会存在这样一种新型显微镜，为我们揭示出另外一个奇妙的全新世界：在这个世界里，充满着细微的、肉眼无法识别的运动和色彩变化，比如一个人的面部皮肤颜色会随着体内血液的脉动而时红时白，建筑起重机在风中轻微地摇摆，以及非常细微的、肉眼无法看到的婴儿的呼吸。这些运动微小到难以想象的地步，但其重要性却无法忽略。它们可以指示我们身体的健康状态，显示一台即将产生问题的重要器械的摆动情况。我们已经和我们的学生以及同事一起开发出了一种仪器，我们将其称为“运动显微镜”，并将它与一台可进行专业计算的摄像机连接。这两台仪器相互配合，能将那些肉眼看上去纹丝不动的人体与物体的轻微运动，放大到可见水平。

颜色变化

 “运动显微镜”的发现纯属偶然。我们之前一直在开展一个视频项目，目标是测量那些微小的、无法用肉眼分辨的颜色变化。早在2010年，麻省理工学院媒体实验室的研究人员傅明哲（Ming-Zher Poh）、丹尼尔·麦克道夫（Daniel McDuff）和罗莎琳德·W·皮卡德（Rosalind W. Picard）就已经提出，他们可以使用摄像机来测量人体的脉搏频率，利用的原理是，脸部皮肤下有血液流动，随着心脏跳动的节奏，脸部皮肤的颜色会发生极微小的变化，通过监测这种变化就能够得知脉搏频率。（现在，他们已经将这项技术转化为一个名为Cardiio的测量脉搏的智能手机应用程序。）但这其中的计算部分涉及高等线性代数的内容，我们觉得计算部分非常棘手，事实上本不需要这么复杂。因此我们开始寻找一种更为简单的方式，来实现这一过程。

这其中最主要的挑战是，在任何单独的视频像素中，血液流动引起的颜色变化很不明显——在每次心脏跳动时，皮肤颜色仅有0.2%的变化。不幸的是，摄像机传感器无法记录精确值，并且总是会有不规则噪声，而这种噪声通常会超过0.2%。因此噪声会极大地掩盖脸部皮肤颜色的变化。

在寻找更简便的处理方法的过程中，我们和我们当时的学生吴浩宇（Hao-Yu Wu，音译）、麻省理工学院的研究人员约翰·古塔格（John Guttag）以及当时任职于广达剑桥研究院（Quanta Research Cambridge）的尤金·施（Eugene Shih）一起，决定把表示每个像素点颜色的数字，用另外一个数字来替换——与该像素点相邻的所有像素点颜色数字的平均值。这种方法显著减轻了噪声的影响。这是因为，在一个足够大的像素集中，这些随机波动趋向于相互抵消。我们也利用这一方法，得到了一些表明面部颜色变化时间的数据，比起成年人安静时脉搏频率的常规数值，我们得到的数值有大有小。

我们这种简单的、利用像素变化得到每分钟脉动次数的方法，被证明是成功的。不过这种颜色变化对我们来说是不可见的，我们想看看这种变化究竟是什么样子。利用这种方法，我们计算了一段视频中每个像素的颜色随时间的变化程度，并将这一变化放大了100倍，我们终于可以清晰地看到，一名成年男子的脸部颜色是如何随着心脏的跳动而变红的。

这项技术也适用于婴儿。美国温彻斯特医院（Winchester Hospital）的医生唐娜·布热津斯基（Donna Brezinski）和卡伦·麦卡蒙（Karen McAlmon）开展了一项面向新生儿的测试，测试中我们使用一台普通的数码摄像机拍摄了一段视频。放大像素变化后，我们发现视频中所显示的脉搏频率，与一个传统的、连在一根小手指上的脉搏计所显示的脉搏频率完美匹配。这一结果提高了非接触性测量脉搏频率的可能性，对于虚弱的早产儿来说，这一改变非常重要，因为触碰这些婴儿可能会对其造成伤害。对于成年人来说，在未来，这种可视化方法可能有助于揭示影响健康的血液流动异常情况，例如身体的左侧与右侧间的血液循环不对称。

静止背后的微运动

不过，我们拍摄的视频也给我们出了一道难题。为了简化色彩处理过程，我们曾要求摄像机前的成年人，要保持一动不动的姿势；从原始视频里看，他们的头部也确实是一动不动的。但是，当我们放大颜色变化并查看放大后的结果时，我们注意到，他们的头部其实一直在移动。看起来，我们的技术不仅放大了颜色变化，也令那些细微运动变得更明显了。

在之前与其他同事合作的一些研究工作中，我们也曾建立过一种视频处理方法，来放大微弱位移。当时的处理方法是，用专门的软件来计算每个点中每个像素的运动方向——也就是矢量，然后根据不同的方向将每个像素移动到新的位置。这种做法非常复杂，而且容易出错。而现在，我们的新技术可以通过简单的计算来实现相似的效果，不需要对任何棘手的运动矢量展开计算，这让我们非常惊讶。

为什么放大色彩变化的同时也会放大微弱的位移？为了找到答案，我们必须弄清楚视频中的运动是如何使各点颜色发生变化的。设想有一个物体，比如一个球体，右侧有一束光线照射过来，使得球体的右半边比较亮，而左半边比较暗。如果这个球体从左向右飞行横穿整个屏幕，那么屏幕上的一个固定点的颜色将随着时间的流逝而越来越黑，原因是这个点离球体左侧越来越远。点的颜色变化程度取决于球体的运动究竟有多快，以及球体左侧与右侧的亮度差异有多大，即所谓的颜色渐变。在数学上，我们可以将像素颜色随时间的变化，看成是物体运动的速度与其颜色渐变相乘的结果。

我们使用的这种算法，并不涉及运动速度或颜色渐变值。尽管如此，我们还是能利用这种方法观察到物体的运动，因为当球体一点点地向右移动时，由于该算法会放大任何特定点位的颜色变化，对观看者而言，也就同时放大了球体的细微运动。按照同样的方式，代表着婴儿胸部的特定一点的像素色彩，也会随着婴儿的呼吸而发生变化，我们利用这种算法在让颜色变化更加容易分辨的同时，也会使胸部的细微运动更加明显。

两种算法

我们早期尝试使用矢量计算来观测微运动，现在则基于颜色随时间的变化来观测微运动，这两种方法之间的区别在于观察物体的视角不同：一种是顺流而行，一种是在矗立于水流中。正是这种观察视角的改变，才使得新计算方法更加简单。这两种不同的想法源自一群科学家：他们在观察流体时，会通过建立模型来研究流体运动。他们采用了两种截然不同的方法：拉格朗日（Lagrangian）算法和欧拉（Eulerian）算法。拉格朗日算法的本质是，当流体运动时，追踪给定的某一部分是如何运动的，如同观察者在船上随河水漂流，观察船旁的水流；而欧拉算法则是在空间某一固定位置来研究通过这一位置的流体，就像观察者站在一座桥上观察流过桥下的水流。

在早期的工作中，我们遵循拉格朗日理念，就像船上的观察者，在视频中追踪某一物体的像素，观测其运动情况。随着船的运动，我们从一个位置追踪到另一个位置；与此相反，我们的新方法只考虑某一固定位置的颜色变化，这类似于站在桥上的观察者。这种局部视角仅适用于微小的运动，但它更加简单明了。利用这种技术，计算机可以快速处理一部视频，如果使用我们早期的方法，则需要花费大量的时间，还会经常出错。

我们将这一新方法称为欧拉视频放大技术。2012年，我们发表了一篇论文详细介绍了这一技术。利用这一技术，我们揭示了血液流动是如何改变脸部颜色的。它还可以用于很多领域，比如放大婴儿的呼吸运动，新生儿的父母可以通过检查增强的视频信号来查看婴儿是否在动；我们还可以为所有弦都处在振动状态的吉他拍摄一段高速视频，然后在某个给定音符的频率附近选取一段窄频带，例如低音E弦的频率为82赫兹（Hz），我们选取72～92 Hz的频带来进行处理，处理后的视频中，其他弦看上去纹丝不动，而单独的一条弦的运动则被放大了。

我们创建了一个网站，人们可以将他们的视频上传到该网站，然后自己操作这个运动放大程序。大家使用程序的方式五花八门，这令我们非常兴奋：有人发布了一段显示妊娠末期胎儿活动的视频；有人把她的宠物天竺鼠的呼吸运动加以放大；一位学艺术的学生则制作了一段视频，展示他的朋友试图站立不动时不易察觉的动作和表情。

我们后来也了解到，欧拉算法也有其局限性。如果一个给定的像素随着帧数变化而越来越暗，这种算法会过度加强这一变化，从而产生一个全黑的像素，这是一种失控的放大效应。这一问题将会导致运动区域周边产生或明或暗的光晕。我们面临的另一大挑战是，传感器噪声会导致输入颜色发生变化，即使我们通过对局部像素取平均值的方法来消除它，噪声也一样会被放大。

这一结果促使我们以及我们的研究生尼尔·瓦德瓦（Neal Wadhwa）共同开发了一种新的算法，这种算法保留了欧拉技术的优点，但在像素变化更极端时，提供了一种更好的处理方法。

我们意识到，最初的方法之所以有局限性，是因为这种方法假定每个像素和其相邻的像素——左边的、右边的、上面的、下面的——之间的色差是相同的。然而，事实并非总是如此。比如说，图形边缘位置的像素差异比图形中间的平滑区域的像素差异更大（拥有更大的梯度）。因此，如果在同一时间用同一倍数放大所有像素，得到的只能是失真的效果，无法揭示物体的实际运动。

我们决定改变这种等幅放大的方式，把图像的每个部分（一组像素的集合），以数学的方式表示为一个正弦波。正弦波一会儿上升一会儿下降，陡坡表示快速变化，而顶部和底部表示缓慢变化。在一个视频图像中，边缘区域模仿快速变化的部分，平滑区域看起来像是缓慢变化的部分。我们可以将图像中某一区域的变化表示为正弦波的相位变化。从一个快速变化的相位运动到一个缓慢变化的相位，能够帮助我们描述视频中两帧图像之间的运动是如何发生的，而这种方法不会产生诸如光晕这样的结果。我们在2013年报道了这一进展。

小运动产生大影响

解决了这些问题后，我们发现，可以通过处理视频来看清极微小的位移。而在此之前，研究人员只能通过方程计算或是计算机模拟来预测这些位移的情况。举例来说，一根PVC管的圆形外壳就是一个简单的对象。当被锤子或是类似的东西敲击时，外壳会先弯曲，然后以特定模式反弹，在这一过程中，外壳会以不同时间频率振荡。上下快速振动的模式混合在一起，进而使振荡频率降低，振幅却更大，从而导致管道外壳变成不同的形状。在工程学教科书中，这些振动模式是以方程的形式表示的，要观察管道的实际形变情况是非常困难的，因为这些变化实在是太微小了。

我们拍摄了管道被敲击时的高速视频。在未经处理的视频中，几乎看不出圆形外壳有任何变化。麻省理工学院奥拉尔·比于克兹蒂尔克（Oral Buyukozturk）的研究生贾斯汀·陈（Justin Chen），当时正在与壳牌国际勘探与生产公司（Shell International E&P）的科学家一起开展一个项目。他们利用我们的“运动显微镜”分析了视频，并使用计算机挑出3个最低频率的振荡模式。（这与我们对人体脉搏进行可视化处理的原理相同，也就是寻找那些与心脏跳动频率相符的像素变化。）将这些频率放大后，能够看出在管道的横截面出现了向内和向外的弯曲，这种弯曲表明了外壳的实际位移。

酒杯在高频振动的声压下会破碎，这是研究的另一个将运动可视化的生动例子。我们都曾经看到过，在好莱坞电影中女高音歌唱家引吭高歌时会将玻璃震碎。不过我们谁都没有见过玻璃的实际变形，这是因为，通常来说玻璃振动的幅度非常小而且振动得非常快，频率一般在300～500Hz之间。我们希望能够实时地显示出玻璃的弯曲情况。

为了做到这一点，我们借助了频闪闪光灯先驱哈罗德·埃杰顿（Harold Edgerton）在静止运动摄影中使用的技巧。借助短曝光，他将一个快速周期性运动的每一帧都记录下来，运动被表示为帧与帧之间的几个周期，这时运动看上去会比现实生活中要慢得多。我们使用一台普通摄像机来抓取许多玻璃的极短录像片段。当我们利用“运动显微镜”放大视频时，这种近似于快门的效果使我们清楚的看到，当以恰当的音符敲击玻璃时，玻璃振动了起来。

酒杯破碎确实很严重，这可能会毁掉一场晚宴，但我们希望“运动显微镜”可以揭示更严重的问题，比如一台巨大且有潜在风险的机器马上要出现问题。显微镜能够抓取细微运动并将其可视化，而这种细微运动也许是机械故障的标志。我们以汽车正常挂空挡的高速视频来演示这一原理。和管道一样，原始视频完全看不出任何机械部件的位移。然后我们过滤视频，屏蔽掉其他频率，只聚焦22Hz的发动机振动情况。将过滤后的视频放大30倍，能够表明发动机的不同部件在前后摇晃。对发动机来说，这并不是异常情况，但这可以表明，除了放大细微的变化至可见外，“运动显微镜”也能挑出也许是反常情况的特定频段。这些视频能够聚焦并帮助诊断在旋转或振动的机器中失灵的机械零部件。

用类似的方法，我们可以看清一台巨大的工程起重机在风中是如何摇摆的。虽然在肉眼看来起重机很牢固，但“运动显微镜”显示了起重机的弯曲情况。对于这种起重机来说，这种弯曲存在一个正常范围。如果超出了这个范围，就可能意味着起重机有麻烦了。

我们还可以对这一过程进行反向工程研究。通过使用“运动显微镜”放大一些物体的微小振动，比如一棵树上的树叶，我们和瓦德瓦、麻省理工学院的艾比·戴维斯（Abe Davis）、Adobe研究院的戈塔姆·迈索尔（Gautham Mysore）一起，重构了造成它们振动的噪音类型。如果这种方法可以被广泛应用，比如在公交车站的混凝土坡道，用这种方法可能能够找出那些削弱坡道结构稳定性的振动来源。

 “运动显微镜”也可以揭示流体流动问题。当两个邻近层面的气体或液体变为湍流混合时，在两个层面的接触面上会形成不稳定波。汽车、飞机或潜艇这样的交通工具遇到这种湍流时，会受到巨大影响。由于速度的不同，受到的影响也不同。因此研究湍流变得相当重要。在未经处理的视频中，我们是看不到这种不稳定波的。不过当“视频显微镜”对特定的运动频率放大40倍时，不稳定波的迹象就非常明显而清晰了。

利用“视频显微镜”来观测那些看不见的微运动，感觉就像戴上了魔术眼镜或是突然获得了超人般的视觉。但这一技术并不是魔术，也不是漫画书作者的幻想；这是在对视频处理和图像的数学表现进行了基础研究后，所得到的结果。对有些运动，我们在很早之前就已经知道了它们的存在，但从未用双眼真正看到过，软件第一次为科学家展示了这些运动。这就像几个世纪前出现的第一部光学显微镜，它帮助人们识别出对健康和安全有威胁的因素。现在，“视频显微镜”让我们感觉自己就是一名探险家，我们发现了一个全新的世界，在这个世界里，各种平时看不到的现象变得一目了然。