(资料图)
近年来,机器读取我们的思维能力一直在稳步发展。现在,研究人员利用人工智能视频生成技术为我们打开了窥视心灵之眼的窗口。
解读脑信号的主要动机是希望有朝一日我们能够为那些处于昏迷状态或患有不同形式瘫痪的人提供新的交流窗口。但人们也希望这项技术能够创造出更直观的人机界面,对健康人也有应用前景。
到目前为止,大部分研究集中在试图重建患者的内部心声,利用人工智能系统来识别他们思考的词汇。最有希望的结果也来自于侵入性的脑植入物,这对于大多数人来说不太实际。
然而,现在,来自新加坡国立大学和香港中文大学的研究人员表明,他们可以将非侵入性脑扫描与人工智能图像生成技术相结合,创造出与受试者在脑数据收集时观看的片段惊人相似的短视频片段。
这项工作是该团队去年年底发表的研究的延伸,他们展示了他们可以生成与受试者所看到的图片大致匹配的静止图像。首先,他们训练一个模型,使用大量fMRI脑扫描数据让它学习这些脑扫描的一般特征。然后,将该模型与开源图像生成AI Stable Diffusion相结合,以创建图片。
在一篇新的预印本论文中,作者采取了类似的方法,但对其进行了调整,使系统能够解释连续的脑数据流并将其转换成视频而不是静止图像。首先,他们训练一个模型,使用大量fMRI数据,让它能够学习这些脑扫描的一般特征。然后,对其进行了扩充,使其能够处理一系列的fMRI扫描数据,而不仅仅是单个的扫描数据,并在组合数据上再次进行了训练。
来源:脑机接口产业联盟