FingerTrak可穿戴设备以3D方式捕捉人类的手

这是康奈尔大学和威斯康辛大学麦迪逊分校的研究人员的说法。他们说，FingerTrak可以通过三到四个读取手腕轮廓的微型低分辨率热像仪，感知人手的许多位置，并将其转换为3D，包括20个手指关节的位置。

据该团队介绍，该设备可用于虚拟现实、移动医疗、人机交互等领域。他们的研究结果发表在ACM交互式、移动、可穿戴和无处不在技术会议录。

可穿戴技术如何帮助抗击Covid-19

“这是我们团队的一项重大发现——通过观察你的手腕轮廓，这项技术可以以3D的形式重建你的手指所在的位置，而且非常准确，”康奈尔大学新成立的科幻实验室主任、信息科学助理教授张成(Cheng Zhang)说。“这是第一个基于手腕轮廓重建整个手部姿势的系统。”

过去的腕式摄像头体积庞大，外形突兀，大多数只能重建几个离散的手势。

据康奈尔大学称，FingerTrak的突破是一款轻便的手环，可以自由移动。FingerTrak没有使用摄像头直接捕捉手指的位置，而是使用热成像和机器学习的结合来虚拟地重建手。手环上的四个微型热像仪可以捕捉多个“轮廓”图像，形成手的轮廓。

然后，一个深度神经网络将这些轮廓图像结合在一起，以3D方式重建虚拟手。通过这种方法，张和他的同事们能够捕捉到整个手的姿势，即使手拿着一个物体。

虽然这项技术有广泛的用途，但张说最有前途的是它在手语翻译方面的潜在应用。

他在一份声明中说:“目前的手语翻译技术要求用户要么戴上手套，要么在环境中安装摄像头，这两者都很麻烦。”“这可能会将现有技术推向新的领域。”

来自威斯康辛大学麦迪逊医学院和公共卫生学院的生物统计学和医学信息学助理教授Yin Li说，FingerTrak还可能对医疗保健应用产生影响，特别是在监测影响精细运动技能的疾病方面。Yin Li对FingerTrak背后的软件做出了贡献。

“我们如何移动我们的手和手指往往反映了我们的健康状况，”李说。“这样的设备可以用来更好地了解老年人在日常生活中如何使用他们的手，帮助发现帕金森病和阿尔茨海默病等疾病的早期迹象。”