摄像头和机器学习可以为远程病人测量脉搏

远程医疗可以通过使用电子设备上的摄像头从患者面部的实时视频中获取脉搏和呼吸信号的方法得到改进。

一笔预付款华盛顿大学领导的团队于2020年12月在神经信息处理系统会议。该团队现在提出了一种更好的方法来测量这些生理信号，该系统不太可能受到不同相机、照明条件或面部特征的阻碍。研究人员将于4月8日在英国《科学》杂志上公布这些发现ACM健康、推理和学习会议。

“机器学习非常擅长对图像进行分类。如果你给它一系列猫的照片，然后告诉它在其他图像中找到猫，它就能做到。但是，为了让机器学习在远程健康传感中有所帮助，我们需要一个系统，可以识别视频中最强烈的生理信息来源(例如脉冲)的感兴趣区域，然后随着时间的推移进行测量，”威斯康星大学保罗·g·艾伦计算机科学与工程学院的博士生刘欣说。

嵌入电子传感器的织物，用于监测生命体征

“每个人都是不同的，”刘在一份声明中说。“所以这个系统需要能够快速适应每个人独特的生理特征，并将其与其他变化区分开来，比如他们的长相和他们所处的环境。”

该团队的系统在设备上运行，而不是在云中运行，并使用机器学习来捕捉光线在人脸上反射的细微变化，这与血液流动的变化有关。然后它将这些变化转化为脉搏和呼吸频率。

该系统的第一个版本是用一个数据集进行训练的，该数据集包含了人脸视频和“地面真相”信息:每个人的脉搏和呼吸频率都是由现场的标准仪器测量的。然后，系统使用视频中的空间和时间信息来计算这两个生命体征。据说，在拍摄对象移动和说话的视频时，它的表现优于类似的机器学习系统。

该系统在一些数据集上运行良好，但在包含不同人物、背景和光线的其他数据集上却表现不佳。研究小组说，这是一个被称为“过度拟合”的常见问题。

研究人员通过让系统为每个人生成个性化的机器学习模型来改进系统。具体来说，它有助于在视频帧中寻找可能包含与不同背景下脸部血流变化相关的生理特征的重要区域，例如不同的肤色、光照条件和环境。从那里，它可以专注于该区域并测量脉搏和呼吸速率。

该团队表示，虽然这个新系统在提供更具挑战性的数据集时表现优于其前身，特别是对于肤色较深的人，但仍有更多的工作要做。

刘说:“我们承认，当受试者的肤色较深时，仍然有表现较差的趋势。”部分原因是深色皮肤反射的光线不同，导致相机捕捉到的信号较弱。我们的团队正在积极开发新方法来解决这一限制。”

研究人员还在与医生进行各种合作，以观察该系统在临床中的表现。

“任何远程感知脉搏或呼吸速率的能力都为远程患者护理和远程医疗提供了新的机会。这可能包括自我护理、后续护理或分诊，尤其是当有人无法方便地前往诊所时，”资深作者、艾伦学院和电气与计算机工程系的教授什维塔克·帕特尔说。“令人兴奋的是，学术界正在研究新的算法方法，用人们家中的设备来解决这个问题。”