使用面部肌电图进行无声音素识别 | NeurotechSC

今年，NeurotechSC 开展了一个项目，利用面部肌电图（fEMG）识别意图音素发音。该项目通过在各种用于语音产生的肌肉群上放置干表面电极收集 fEMG 信号，并训练 LSTM/RNN 机器学习模型来实现。使用该模型，最初只能识别 5 个不同的音素，随后模型被扩展以预测所有 44 个英语音素。

fEMG 信号使用 OpenBCI Cyton 传感板及 OpenBCI GUI 记录。OpenBCI 8 通道 Cyton 板的数据采集参数为：放大因子 1170，16 位模数转换，分辨率 0.298 微伏/位，EMG 信号采样率 250 Hz，频率范围 0.9-295 Hz。该板经过修改以支持按键通话接口。此外，OpenBCI 板允许 fEMG 数据连续流传输，并可同时通过 Python 库 Brainflow 传递至机器学习模型。

由于时间限制，我们未能完全实现项目的某些方面。未来，我们希望能够实现一个电极面具以提高 fEMG 记录效率，一个允许对预测结果进行正确/错误分类的用户界面，以及将音素预测传递给另一个模型以生成文本。如果这些障碍得以克服，我们相信该项目将实现无声语音转录，并具有帮助言语障碍患者的潜力，同时扩展人机接口。

NeurotechSC 非常感激在 NeurotechX 学生俱乐部竞赛中获得第一名。我们正式感谢 OpenBCI 提供技术和平台以支持本项目。此外，我们感谢 NeurotechX 为 NeurotechSC 提供了在本科水平进行神经技术研究的途径，以及在这个小众领域支持我们的社区。最后，感谢我们俱乐部的成员在这一充满挑战的一年中的坚持。我们赞赏你们对新成员的耐心，并祝贺你们过去的胜利以及未来更多的成功。

我们的团队（按字母顺序排列）

• 项目负责人：Mathew Sarti, Nivriti Bopparaju

• 硬件团队：Ben Cooper, Chris Bjordahl

• 机器学习团队：Dennis Koshta

• 软件团队：Rico Rodriguez Passanisi