类似于皮肤的传感器和AI提供（令人惊讶的）准确的手势识别

新加坡的科学家开发了一种AI系统，该系统通过将可穿戴皮肤样传感器与计算机视觉结合起来来识别手势。

在过去十年中，人类手势识别系统已经走了很长一段路。如今，该技术适合许多尖端应用，例如医疗领域的手术机器人。但是，手势识别的精度可能会受到可穿戴式传感器发送的数据质量差的困扰，这通常是由于它们的大小以及与佩戴者的接触不良所致。 

现在，来自新加坡南洋理工大学（NTU Singapore）的科学家表示，他们已经开发了一种人工智能（AI）系统，该系统可以通过将可拉伸的类似皮肤的应变传感器与计算机视觉技术相结合来识别手势。

此处显示的是透明的，可拉伸的应变传感器，它粘附在穿戴者的皮肤上。在屏幕上的图像中，根本看不到传感器。图片由NTU新加坡提供

“受生物启发”的数据融合系统

为了应对这一挑战，南大新加坡团队开发了一种“生物启发”的数据融合系统，该系统将类似皮肤的可拉伸应变传感器与AI系统结合使用。这些技术结合在一起，类似于人脑共同处理皮肤的感觉和视觉的方式。 

生物启发系统由三种神经网络方法组成，在《自然电子》中有更详细的说明。甲卷积神经网络，这对于早期视觉处理机器学习网络中，躯体感觉信息处理的多层神经网络，并且一起融合了视觉和体感的信息的备用神经网络。 

受生物启发的体感视觉响应启发的学习框架。图片（修改后）由Nature Electronics提供结合起来，这将创建一个能够更准确，更有效地识别人类手势的系统。

伸缩应变传感器

为了捕获可靠的感官数据，南大新加坡团队制造了一种由单壁碳纳米管制成的透明，可拉伸的应变传感器。传感器灵活，可以轻松粘附在皮肤上，无法在照片中看到。  

体感视觉数据收集的流程图。图片（修改后）由Nature Electronics提供

研究人员说，与无法与皮肤充分接触以收集准确数据的刚性可穿戴传感器相比，这是一个重大改进。由于新加坡团队的传感器与皮肤齐平，因此该设备具有高质量的信号采集功能，对于高精度识别至关重要。 

引导机器人穿过迷宫

作为概念验证，该团队通过控制机器人并仅用手势引导其穿过迷宫，就测试了他们的生物启发式AI系统。与仅基于视觉的识别系统产生的六个识别错误相比，该手势识别系统以零错误引导机器人穿过迷宫。

即使在恶劣的条件下（例如高水平的背景噪音和光线不足）进行测试，也可以保持团队AI系统的准确性。在黑暗中，该系统的识别精度几乎达到97％。 

NTU新加坡的科学家将计算机视觉和类似皮肤的电子设备结合在一起，引导机器人穿过迷宫。图片由NTU新加坡提供

该研究小组现在正在探索在医疗，娱乐和家庭康复等各种应用中基于其AI系统构建VR和AR系统的可能性。

若本文收录的图片文字侵犯了您的权益，请邮件联系我们，我们将在24小时内予以删除。