【技术前哨】智能输入法系统:通过眨眼也能高效打字

麻省理工学院的研究人员开发了一个更灵活智能的系统Nomon,让闭锁综合征、脑瘫等疾病导致的严重运动障碍患者可以更便捷地使用计算机交互界面进行交流。

2022年08月11日



1995年,法国杂志编辑Jean-Dominique Bauby患闭锁综合征,身体完全瘫痪,只有左眼还能眨动。在接下来两年,他依靠一次次眨眼,“撰写”了回忆录《潜水钟与蝴蝶》,期间他的言语治疗师背诵字母表,当她读出正确的字母时,他会眨眼,通过约20万次眨眼,完成了这个130页的作品。

时至今日,技术已经取得了长足的进步。由闭锁综合征、脑瘫等疾病导致的严重运动障碍患者可以使用计算机的交互界面进行交流。他们通过按压按钮或眨眼、吹气等方式,选择屏幕中的字母或单词,但本质上来说,这种方法与Bauby当年使用的方法并无本质差别,都是通过逐行逐列的扫描选择目标对象,非常耗时,并且仅适用于可以网格化呈现的内容,对于网页浏览或游戏等任务则难以操作。

近日,麻省理工学院的研究人员开发了一个更灵活智能的系统Nomon,通过在每个字母或单词旁放置转动的指针,每一个指针转动的角度各不相同,使用者通过眨眼、吹气或按钮控制开关,在目标字母的指针到达特定位置(红色正午线)时按下开关,选中目标字母,如果有几个字母的指针位置接近,系统会筛选出这几个让使用者再次点击选择,重复几次,直到系统确定选择的字母。

这种方法不仅可以提高打字效率,而且打破了逐行逐列扫描的限制,可以应用于网页浏览等更多使用场景。

Nomon的机器学习算法会结合用户的语言习惯和新选择的字母来猜测下一个单词。同时,Nomon 还会学习用户的点击习惯。例如,如果用户总是在指针超过红色正午线后一点点击,系统就会实时校准。如果用户的点击经常偏离目标,则系统需要额外的点击以确保准确性。

这种概率推理使 Nomon 功能强大,但也比逐行逐列扫描的系统需要更多的点击量。对于严重的运动障碍用户来说,多次点击可能是一项艰巨的任务。

开发团队希望通过将眼动跟踪整合到 Nomon 中来减少点击次数,这将为系统提供更可靠的信息,根据用户正在查看的屏幕部分预测他的选择。研究人员还希望找到一种更好的方法来自动调整指针转动速度,以帮助用户更加准确和高效地操作。

该团队正在开展一系列新的研究,计划与更多的运动障碍用户合作。

项目核心成员Tamara Broderick表示:“到目前为止,来自运动障碍用户的反馈对我们来说非常宝贵,我们目前正在扩展我们的研究,并与我们的目标人群中更大、更多样化的群体合作。在他们的帮助下,我们已经在进一步改进我们的界面,并努力更好地优化Nomon的性能。”

观看视频了解产品详情

Nomon网页版Demo:https://nomon.app/html/keyboard.html

了解更多:https://news.mit.edu/2022/system-helps-severely-motor-impaired-individuals-type-more-quickly-accurately-0405

关于大赛

第五届“傅利叶”杯中国康复人创意大赛已圆满落幕,相信康复人们不会停止创意革新的脚步,共同期待2022年大赛!公众号将继续推送前沿康复学习材料,敬请关注。

相关资讯