AI可以在大脑信号中阅读单词

参与者的神经活动会在说50句话时收集。一种机器学习算法对收集的数据的含义进行了预测。系统的准确性有所不同,但结果有所不同。

参与者的神经活动会在说50句话时收集。一种机器学习算法对收集的数据的含义进行了预测。系统的准确性有所不同,但结果是有希望的。

这只是一个开始,但它非常令人兴奋:将大脑活动转化为文本的系统。对于那些无法说话的人,例如患有锁定综合症的人,这将是一种改变生活的人。

目前,这有点像透过大雾,但是加利福尼亚大学旧金山分校的Chang Lab的研究人员已经培训了一种机器学习算法,从而从神经元数据中提取了含义。

这项研究的合着者约瑟夫·马金(Joseph Makin)告诉《卫报》:“我们还不在那里,但我们认为这可能是言语假体的基础。”

该研究发表在《自然神经科学》杂志上。

图像来源:Teeradej/shutterstock

窃听

为了培训他们的AI,Makin和合着者Edward F. Chang对四名参与者的神经活动“聆听”。作为癫痫病,每个参与者都为癫痫发作而植入了脑电极。

参与者提供了50句话,他们将至少大声朗读3次。正如他们所做的那样,研究人员收集了神经数据。 (还制作了录音。)

该研究列出了参与者朗诵的少数句子,其中包括:

“那些音乐家很棒。”“她穿着温暖的羊毛工作服。”“那些小偷偷走了三十首珠宝。”“厨房里有混乱。”

该算法的任务是分析收集的神经数据,并对生成数据时所说的内容做出预测。 (与参与者的录音中捕获的非语言声音相关的数据首先被计入。)研究人员的算法很快学到了以预测与神经数据块相关的单词。 AI预测说“一只小鸟正在观看骚动”时产生的数据将意味着“小鸟正在观看骚动”,而“梯子被用来营救猫和男人”,预计例如,“哪个梯子将用于营救猫和男人。”

准确性各种形式的参与者。 Makin和Chang发现,基于一个参与者的算法在接受另一个参与者的培训方面开始了训练,这表明训练AI随着时间的推移会变得更加容易并重复使用。

监护人与专家克里斯蒂安·赫夫(Christian Herff)进行了交谈,他发现该系统对于每位参与者使用少于40分钟的培训数据而令人印象深刻,而不是其他尝试从神经数据中得出文本所需的时间更大的时间。他说:“通过这样做,他们达到了到目前为止尚未实现的准确性。”

先前试图从神经活动中得出语音的尝试集中在构建口语的音素上,但Makin和Chang专注于整体单词。虽然肯定有比音素更多的单词,因此这构成了更大的挑战,但该研究说:“连续语音中任何特定音素的产生都受到其之前的音素的强烈影响,从而降低了其区分性。”为了最大程度地减少其基于单词的方法的难度,口语句子总共仅使用250个单词。图片来源:Whitehoune/Shutterstock/Big Think

通过神经雾

显然,有改进的空间。 AI还预测,“那些音乐家奇妙地协调”是“菠菜是著名的歌手”。 “她穿着温暖的羊毛工作服”被错误预测为“绿洲是海市rage楼”。 “那些小偷偷走了三十首珠宝”被误认为是“哪个戏剧展示了鹅母亲”,而该算法则预测了“厨房里有混乱的数据”的数据意味着“有帮助他偷了饼干”。

当然,这项研究所涉及的词汇和句子典范也有限。 “如果您试图走出[使用的50个句子],解码会变得更糟,” Makin引用了他的研究局限性。另一个明显的警告来自以下事实:AI是由每个参与者大声说出的句子训练的,这是对锁定患者的不可能。

尽管如此,Makin和Chang的研究还是令人鼓舞的。对其参与者之一的预测仅需要3%的校正。实际上,这比人类抄录中发现的5%错误率要好。

原创文章,作者:小虾,如若转载,请注明出处:http://www.dsonekey.com/3310.html

发表评论

您的电子邮箱地址不会被公开。 必填项已用*标注

联系我们

400-800-8888

在线咨询:点击这里给我发消息

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息