截瘫患者「意念打字」登 Nature 封面:速度接近常人敲键盘,准确率 99.2%
1960 年代,截瘫近常键盘英国医生 Grey Walter 为确认癫痫病人的意念脑内病灶,在其贴近大脑皮层的打字登N度接地方放了电极,清晰地获取了病人的面速神经活动。这仿佛为 Grey Walter 打开了新世界的人敲大门,突发奇想之下他把电极连接到自制的准确“电位转换器”上,竟让癫痫病人实现了「意念控制幻灯片切换」,截瘫近常键盘这便是意念脑机接口技术的第一次完整实现。
时至今日,打字登N度接脑机接口技术虽未真正大规模落地,面速但我们对其已不再陌生,人敲即便争议时常存在,准确技术突破也从未停歇——2021 年 5 月 13 日,截瘫近常键盘脑机接口领域最新突破登上了本期知名学术期刊 Nature 的意念封面。
借助斯坦福大学设计出的新型脑机接口系统,截瘫患者可以用意念打字。
患者打出单词 battle 的速度与常人手机打字速度相差并不多,很难想像这是通过意念控制做到的。
其实早在 2017 年已有通过植入式脑机接口使患者实现意念打字的先例,很明显,最新的脑机接口系统大大提升了打字速度。
官方给出的数据是,这一系统下,患者每分钟可输入 90 个字符,而此前「意念打字」速度最多只达到每分钟 60 个字符(注:常人打字速度为每分钟 115 个字符)。可见,这一系统在速度上有了显著提升。
除了速度,准确率也是一项关键因素——据了解,最新系统打字的原始准确率为 94.5%,经语言模型自动校正后的准确率能达到 99.2%。
2021 年 5 月 12 日,相关研究成果发表于 Nature,题为 High-performance brain-to-text communication via handwriting(通过手写实现的高性能大脑-文字交流)。
论文作者主要来自斯坦福大学(霍华德·休斯医学研究所 HHMI、医学院神经外科、电气工程系、Wu Tsai 神经科学研究所、Bio-X 研究所、生物工程系、神经生物学系)、美国退伍军人事务部神经修复和神经技术研发中心、布朗大学(工程学院、Carney 脑科学研究所)及哈佛医学院麻省总医院神经内科神经技术与神经康复中心。
实际上,这一研究是美国企业 BrainGate 临床试验的一部分,主要由布朗大学工程学院教授、重症监护神经学家 Leigh Hochberg 博士指导。
交流速度如何跟上思考?
在平时敲键盘的过程中,我们不难注意到一点,人脑思考的速度往往要比交流的速度快得多。而对于严重瘫痪的患者而言,这种问题则显得尤为突出。
针对不便交流的群体,目前已有辅助打字设备进入商用。这种设备主要基于使用者的眼球运动或语音命令。据了解,一种眼球追踪键盘可使瘫患者每分钟输入约 47.5 个字符,速度明显低于常人打字速度;不仅如此,对于那些因瘫痪影响到眼球运动或发声的患者而言,这一技术将有着很大的局限性。
相比之下,脑机接口技术则可通过解读大脑活动模式来恢复患者的特定功能。
【借助脑机接口,猴子也能打游戏】
具体到打字任务上,脑机接口技术可以基于神经活动,建立分类算法来预测用户想要选择的字母,解决键入任务:
非侵入性脑机接口可向患者提供顺序的视觉提示,分析用户对提示的神经反应,从而确定他们想敲打的字母。
侵入式脑机接口则是在大脑中植入电极,使用户控制光标、选择字母键。
基于这一点,研究团队希望通过设计一种用于打字的脑机接口系统,使得截瘫患者按其思维速度进行交流。
意念打字如何实现?
据悉,研究团队设计的新型脑机接口系统原理为:
首先,在用户想象要写的字母时,大脑电极测量神经元活动(注:下图中的线条表示神经元发射的时间点)。
接着,递归神经网络(RNN)学习每个字母产生的神经活动模式,并分析这些活动模式在多个试验中的关系,从而生成聚类图。
最后,算法基于上述信息预测用户所想象的字母,并将该预测实时输出。
基于上述原理,研究团队的做法是:
对一个原本为语音识别而开发的机器学习算法进行改写,
构建一个数据集(数据集中包含与每个字母相对应的神经活动模式),
使用数据集来训练分类算法。
据 Nature 介绍:
为评估手写的神经表征,受试者需要按照电脑屏幕给出的指令一次 “手写” 一个字符,每个字母重复 27 次试验。
研究表明:
上述算法在有限的训练数据下也能很好地运行,但随着神经活动模式的改变,可能需要做进一步的研究,以使该设备在其生命周期内保持稳定的性能。
值得一提的是,论文一作 Frank Willett 博士还通过推特表示会将整个研究的代码和神经数据开源。
下图为此次植入患者大脑的微型电极阵列,据了解,参与试验的患者为一名 65 岁男性,颈部以下因脊髓损伤而瘫痪,研究团队在患者与右臂运动相关的大脑区域内放置了两枚微型电极。
写在最后
这一研究无疑是一次重要突破。
Nature 表示:
这一突破拓宽了侵入式脑机接口应用落地的前景,使用了机器学习方法,为脑机接口技术的改进提供了一条乐观的思路。
加州大学伯克利分校神经工程师 Jose Carmena 表示:
尽管技术还处于起步阶段,但这仍是一大进步。
美国国立卫生研究院脑科学计划主任 John Ngai 表示:
这一研究代表了脑机接口和机器学习发展的重要里程碑,为未来改善神经损伤和瘫痪患者的生活提供了重要基础。
国内有专家表示:
相比于 Neualink 的研究成果,这一研究可以说是真正的技术创新。原因在于,Neualink 的优势在于神经界面能够高通量地无线传输神经信号,但(猴子打游戏)任务属于一维控制,其实是非常简单的。
当然,上述褒奖之外,我们也要意识到,脑机接口仍有很大的发展空间。仅针对这一研究,Nature 就提出了潜在发展路径:
在 26 个英文字母中,有这样几个字母的书写方法相似(r、v 和 u),因此较难分类。但在其他语言中,比如泰米尔语就存在有 247 个相似字母,可能比起英语很难分类。因此,该方法如何能扩展到或转换为其他语言,是科学家们后续需要思考的问题。
华盛顿大学生物工程系专家 Pavithra Rajeswaran、华盛顿大学电气和计算机工程系专家 Amy L. Orsborn 一致认为:
将电极植入大脑的费用和风险是否合理仍需论证。
众所周知,在脑机接口领域,包括 Neuralink 在内的国外企业已有了一定进展;进入 2021 年,国内多家脑机初创企业也加速融资、腾讯阿里等大厂亦有相关布局。而在学术方面,浙江大学、TCCI(陈天桥雒芊芊研究院)等科研院所近两年也做出了重要科研进展。
脑机接口技术日新月异,未来还将如何进步,我们拭目以待。
引用来源:
https://www.nature.com/articles/s41586-021-03506-2
https://www.nature.com/articles/d41586-021-00776-8
https://www.brown.edu/new网s/2021-05-12/handwriting
https://www.youtube.com/watch?v=wyFj3yl3Aik
https://mp.weixin.qq.com/s/84O4_-mKQs2ixnJghZTVgw
雷锋网雷锋网雷锋网
-
文章
515
-
浏览
63791
-
获赞
43
热门推荐
-
Onitsuka Tiger(鬼塚虎)全新「Big Logo Runner」凉鞋上架
潮牌汇 / 潮流资讯 / Onitsuka Tiger鬼塚虎)全新「Big Logo Runner」凉鞋上架2020年03月30日浏览:5331 日前,来自日本的知名潮中粮可口可乐山西厂紧急驰援灾区
近日,山西省出现大范围强降雨,部分地区发生多起崩塌、滑坡等地质灾害,局部地区遭受严重雨涝灾害,山西省立即启动省级自然灾害救助Ⅲ级应急响应,严重洪涝灾害已致全省11个市76个县市、区)175.71拜仁教练组大换血!孔帕尼率队出征,多人有英超&比甲经验
拜仁慕尼黑足球俱乐部在6月21日公布了新任主教练文森特-孔帕尼的教练团队名单。这支新教练团队由4位拥有比利时甲级联赛和英格兰冠军联赛经验的成员组成,另外还有1位来自拜仁青训部门的年轻教练。其中,助理教沃特福德盯上米兰左后卫巴洛
根据转会专家迪马济奥的报道,英冠劲旅沃特福德已经对AC米兰的左后卫巴洛-图雷表示了浓厚的兴趣,并询问了球员的转会可能性。巴洛-图雷现年27岁,2021年夏天以540万欧元的价格从摩纳哥加盟米兰。然而,Thisisneverthat x 新百伦全新合作系列发布,复古军事风
潮牌汇 / 潮流资讯 / Thisisneverthat x 新百伦全新合作系列发布,复古军事风2020年03月27日浏览:5056 日前,来自韩国青年潮流品牌thisB席闪耀欧洲杯!曼城首球,英超第5位建功
6月23日,欧洲杯小组赛第二轮的较量中,葡萄牙队与土耳其队展开了激烈的对决。在这场比赛中,来自曼城的贝尔纳多-席尔瓦展现出了出色的状态,为葡萄牙队首开纪录。他的进球不仅让他成为了本届欧洲杯上首位进球的中粮可口可乐山西厂紧急驰援灾区
近日,山西省出现大范围强降雨,部分地区发生多起崩塌、滑坡等地质灾害,局部地区遭受严重雨涝灾害,山西省立即启动省级自然灾害救助Ⅲ级应急响应,严重洪涝灾害已致全省11个市76个县市、区)175.71蒙牛乳业2021半年报超预期增长
8月25日,蒙牛乳业2319.HK)发布2021年中期财报。今年上半年,蒙牛收入达459亿元,同比增长22.3%,利润达29.5亿元。作为乳品行业领军企业,蒙牛用超预期的高质量增长,实现&ld萨曼莎撒乌萨官网价格(萨曼莎撒乌萨包包图片)
萨曼莎撒乌萨官网价格(萨曼莎撒乌萨包包图片)来源:时尚服装网阅读:2805samantha是什么牌子?samantha是什么档次?1、二线。萨曼莎撒乌萨是来自日本的箱包品牌,1996年创立于东京,素有真我GT7 Pro:性能+影像双料旗舰 给用户带来越级体验
在刚刚结束的10月,安卓阵营的旗舰手机接踵而至。在10月4日,真我也发布 2024 年度旗舰大作「真我GT7 Pro」,延续双擎旗舰定位,同档唯一骁龙&ens油价跌至10月初低点,石油巨头公布近四年来最差季度收益
汇通财经APP讯——受原油价格暴跌和炼油利润率下降的影响,英国石油巨头BP周二10月29日)公布了近四年来最差季度收益。这家能源公司公布的7月至9月期间基础重置成本利润用于代表净利润)为23亿美元。根17岁武什科维奇租借至比甲维斯特洛,备战新赛季
热刺小将武什科维奇将在即将到来的赛季租借到比利时甲级联赛的维斯特洛俱乐部。据名记罗马诺报道,武什科维奇虽然目前效力于克罗地亚的哈杜伊克俱乐部,但已经确定将在2025年转会至热刺。现年17岁的他,作为一阿迪达斯全新配色贝壳头鞋款近期发售,独特三道杠!
潮牌汇 / 潮流资讯 / 阿迪达斯全新配色贝壳头鞋款近期发售,独特三道杠!2020年03月31日浏览:4070 今年是 adidas Superstar 诞生 50 周销售混有异物食品 涉事公司被罚10万元
中国消费者报上海讯记者刘浩)近日,上海市闵行区市场监管局对某小区居民反映的,在其收到的保供物资中,酱香肘产品真空包装袋内混有苍蝇。目前已对经销商昆山润华商业有限公司上海闵行分公司立案调查,拟对当事人作实施最高监管频次 厦门特殊食品安全监管蹄疾步稳
中国消费者报福州讯胡伟明记者张文章)2022年以来,福建省厦门市市场监管局认真贯彻落实上级关于特殊食品安全监管工作的要求和部署,以日常监管为基础,以风险管理为抓手,以智慧监管为突破,根据实际对特殊食品