言语是怎样回事,是怎样让人类高效沟通的?这是人类一向在思索的谜题。
大脑网络十分复杂,其间有上千亿个神经元,且每个神经元的放电和编码形式均不同,信息处理方法也悬殊。咱们咱们都知道,大脑信息传导靠的是电活动,其推进速度每秒钟只要几百米。那么能不能将大脑电信号解码为言语呢?
图 | 11 月 7 日,Edward Chang 在《细胞科学北京学术会议:人工智能与脑科学》作陈述。(来历:Cell Press)
一项本年 4 月宣布的研讨中说到,科学家运用神经信号与人声道咬合部位运动的映射联系进行解码,也便是运用操控嘴唇、舌头、喉部和下颌运动的神经信号来组成语音。
研讨的通讯作者正是本文的主角,加州大学旧金山分校神经外科教授 Edward Chang。他们将 256 个电极刺入癫痫患者的脑部,对触及4组简略问答的脑电信号进行了解码。比方问“你最喜爱哪种乐器”“你最不喜爱哪种乐器”“从 0 到 10,你的美好指数有多少”“你期望我多久来看你”等。
7 月 30 日,他们持续宣布了实时地解码大脑信号,将“听到”和“说出”的对话转变成言语文字,并且准确率可达 76% 和 61%。
其研讨战略是,当受试者履行“听到”和“说出”使命时,研讨人员经过从高密度皮层脑电图阵列记载神经活动(掩盖听觉和感觉运动皮质区域),然后解码这些大脑信号的内容。
图 | 人类大脑的言语功用区示意图。(来历:Edward Chang 实验室主页)
Edward Chang ,加州大学旧金山分校神经外科学教授,加州大学伯克利分校和加州大学旧金山分校神经工程与假肢中心联合主任。他于 1997 年在阿默斯特学院取得化学学士学位,2004 年取得加州大学旧金山分校医学博士学位,2010 年在该校担任住院医,2009 年在加州大学伯克利分校做博士后。他曾获 2015 年度 Blavatnik 全国生命科学桂冠和美国国立卫生院院长创新奖。他一起仍是美国霍华德休斯医学研讨所(HHMI)学者成员。
Edward Chang 博士是一位神经外科医生,主治癫痫、脑瘤、三叉神经痛、面肌痉挛和运动妨碍。他专门研讨大脑中语音与运动相关的区域,以及大脑可植入设备,期望能协助瘫痪和言语妨碍的患者。他的研讨爱好在于发现人类高阶神经功用的皮质机制,其实验室所得效果为人们展现了人类言语皮层的具体功用性结构。
2019 年 11 月 7 日,在细胞出版社(Cell Press)主办的首届“细胞科学北京学术会议:人工智能与脑科学”上,Edward Chang 以“解码人言语皮层”为主题,介绍了关于人类高阶神经功用的皮质机制以及人类言语皮层具体功用性结构研讨的最新进展。
他有一副亚裔脸庞,演讲时语调沉稳,柔软,且谨慎。关于“解码人脑的主意有多大的应战性?”这样的问题,他的观念自始自终:这是一个巨大的应战,现在还不考虑展开。
他会说一点中文。在承受 DeepTech 专访时,听到“我给你发过两封采访邮件,未得到回复”疑问时,他用中文说:“不好意思,太忙了。”采访结束的时分,他特意用中文问了一句:“我很想知道,为什么我国有那么多人对解码大脑言语信号的研讨感爱好呢?”其实答案清楚明了:在所有人心目中,大脑极端奥秘,言语和思想是其间尤为奥秘的部分,而他从事的正是一项奇特的研讨,大脑的言语之谜正在他的手中缓缓揭开。
DeepTech:你一向在做言语解码,为什么挑选了这个范畴,并且坚持了好多年?
Edward Chang:咱们 10 年来一向在研讨语音问题和言语问题。我喜爱这个研讨范畴,对此十分感爱好。由于我以为这是一个特别的人类行为。
言语让咱们高效地进行沟通,人类文明也依靠言语,另外因脑部受伤而失掉言语功用对那些人是毁灭性的。我看到这些,意识到咱们并不真实了解言语在大脑中的作业方法,所以咱们应该更好了解它。
DeepTech:你们是怎样想到运用嘴巴的动作、声道的动作、脑电信号来解码“说”的?
Edward Chang:(人们)有许多测验去翻译大脑沟通活动,但咱们期望采纳最天然的方法来为人类怎样说话建模。由于咱们咱们都以为,假如咱们了解了人类的天然(说话)形式,那将是创立言语脑机接口最有用的方法。所以咱们对测验单词的解码更感爱好。
DeepTech:在你们做这项作业之前,其他的科学家在解码“说”的时分有什么好办法吗?
Edward Chang:许多人在测验这个研讨。但其间应战在于,需求记载的信号十分快,并且信号要求十分准确,它有必要是毫秒、毫米等级,而咱们具有神经科学的东西都没有这种分辨率。至于为何咱们完成了,是由于咱们在承受手术的患者大脑插入了电极,以及有高精度的传感器。
DeepTech:物理学家霍金是一个好比如吗?
Edward Chang:霍金在说话的时分是电脑在讲,而不是他自己在说话,是他用目光打字,之后电脑来发音。
DeepTech:苹果手机 Siri 的语音组成跟你们脑机接口的语音组成有啥不一样的差异?
Edward Chang:Siri 明显与大脑无关,它是听完你的言语然后翻译成文本,核算组成是其东西。这里有一些共性,Siri 运用的天然言语处理、机器学习,咱们在大脑解码研讨中也用到一些相似的技能,也要用。
DeepTech:解码“说”和“听”的准确率也不尽相同,解码“听”准确率更高一些,是什么要素影响了解码准确性?怎样前进准确性?
Edward Chang:解码“听”的研讨前史比解码“说”的前史长许多,“说”只要五年,我以为跟着时间推移,解码“说”的准确率会更高。其实那篇解码“听”的论文,真实意图是让解码“听”来给解码“说”供给上下文,两个研讨的成果能够互通有无。
DeepTech:解码“听”和“说”的准确性怎样前进,抱负的时分能做到多少?
Edward Chang:这项作业才刚刚开始,所以有许多需求完善的作业,这有赖于人工智能技能和脑电信号记载技能的前进。
DeepTech:解码人脑的主意有多大的应战性?
Edward Chang:这是一个巨大的应战。现在这个研讨方向还没有展开。
-End-