2022-09-11
 
下一代助听器可以通过口罩读嘴唇
2022年09月11日  

一种新的系统,即使在说话者戴着口罩的情况下,也能以惊人的精度读出嘴唇,这将有助于创造新一代助听器。

一个由工程师和计算机科学家组成的国际团队开发了这项技术,该技术首次将射频感应与人工智能结合起来识别嘴唇运动。

该系统与传统助听器技术相结合,可以帮助解决“鸡尾酒会效应”,这是传统助听剂的一个常见缺点。

目前,助听器通过放大周围的所有环境声音来帮助听力受损的人,这在日常生活的许多方面都有帮助。

然而,在嘈杂的情况下,如鸡尾酒会,助听器的广谱放大会使用户难以专注于特定的声音,如与特定人的对话。

鸡尾酒会效应的一个潜在解决方案是制造“智能”助听器,该助听器将传统的音频放大与第二个设备相结合,以收集额外数据,提高性能。

虽然其他研究人员已经成功地使用摄像机帮助唇读,但在未经明确同意的情况下收集人们的视频片段引发了对个人隐私的担忧。摄像机也无法通过口罩辨认嘴唇,这是出于文化或宗教目的而戴口罩的人每天面临的挑战,也是新冠肺炎时代更广泛的问题。

在今天发表在《自然通讯》杂志上的一篇新论文中,格拉斯哥大学领导的团队概述了他们如何着手利用尖端传感技术读取嘴唇。他们的系统只收集射频数据,不附带视频片段,从而保护隐私。

为了开发这个系统,研究人员要求男性和女性志愿者在不戴口罩的情况下先重复五个元音(A、E、I、O和U),然后戴上口罩。

当志愿者重复元音发音时,他们的脸会被专用雷达传感器和wifi发射器的射频信号扫描。当他们的嘴唇保持静止时,他们的脸也被扫描了。

然后,在扫描过程中收集的3600个数据样本被用来“教导”机器学习和深度学习算法如何识别与每个元音发音相关的特征嘴唇和嘴巴运动。

由于射频信号可以很容易地通过志愿者的口罩,算法还可以学习读取被蒙蔽用户的元音信息。

事实证明,该系统大部分时间都能正确读取志愿者的嘴唇。学习算法对Wifi数据的正确解释率为95%,对于未掩蔽的嘴唇,为80%。同时,雷达数据的正确解释率高达91%,无掩模时为83%。

格拉斯哥大学詹姆斯·瓦特工程学院的Qammer Abbasi博士是该论文的主要作者。他说:“世界人口的5%左右鈥攁约4.3亿人鈥攈有某种听力障碍。

“助听器为许多听力受损的人提供了变革性的好处。新一代技术可以收集广泛的数据,以增强和增强声音放大,这可能是改善听力受损者生活质量的另一个重要步骤。

“通过这项研究,我们已经表明,射频信号可以用来准确读取人们嘴唇上的元音,即使他们的嘴被遮住了。虽然用雷达信号读取嘴唇的结果稍微更准确,但Wi-Fi信号也显示出令人印象深刻的准确性。

“考虑到Wi-Fi技术的普遍性和可负担性,结果非常令人鼓舞,这表明该技术作为独立技术和未来多模式助听器的组件都具有价值。”

格拉斯哥大学通信、传感和成像研究小组负责人、论文合著者穆罕默德·伊姆兰教授补充说:“这项技术是由工程和物理科学研究委员会(EPSRC)资助的两个研究项目的成果,称为COG-MHEAR和QUEST。

“这两个项目的目标都是寻找新的方法来创造下一代医疗保健设备,这一发展将在支持这一目标方面发挥重要作用。”

该小组的论文题为“通过在面罩下阅读嘴唇来推动远程射频传感的极限”,发表在《自然通讯》上。

免责声明: 本文仅代表作者本人观点,与中国机器人网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
客服邮箱:service@cnso360.com | 客服QQ:23341571