科学家实现全脑光学接口虚拟现实和全脑闭环研究新范式

中国科学院自动化研究所蒿杰研究组联合脑科学与智能技术卓越创新中心杜久林研究组与穆宇研究组，开发出一套实感智能计算-控制平台，可快速提取和分析斑马鱼全脑神经元活动，实现神经元集群活动的闭环调控。3月11日，相关研究成果以Real-time analysis of large-scale neuronal imaging enables closed-loop investigation of neural dynamics为题，在线发表在《自然-神经科学》（Nature Neuroscience）上。

该研究借助天文学领域的数据处理技术，采用FPGA-GPU混合架构，对高达500MB/s的大数据流神经功能数据进行实时配准、信号提取和分析。该研究实现了对斑马鱼全脑十万级神经元的实时监控，进而解码任意选择的神经元集群活动，以控制外部设备。这标志着基于全脑单细胞光学成像的虚拟现实、光遗传调控等技术在脑科学闭环研究领域的应用迈出了关键一步。 

全脑范围单神经元活动成像是解析大脑并行分布式计算原理的工具，但较大数据实时处理需求成为技术发展的瓶颈，导致难以实时分析以及在大尺度上闭环调控和研究脑功能。受到天文学领域中的快速射电暴检测技术的启发，科研人员借鉴系统设计策略，利用FPGA编程的灵活性建立光学神经信号预处理系统，对来自光学传感器的信号规整化，并发送到基于GPU的实时处理系统，进行高速非线性配准，提取各信道的神经信号，依据编码规则进行解码，以获得用于控制外部器件的反馈信号。该系统通过实时监测斑马鱼全脑神经元的活动，生成反馈信号（反馈间隔小于70.5毫秒）。 

实感智能计算-控制平台的性能在三个脑科学闭环研究场景下得到展示，即与任意特定神经元集群活动锁相的实时光遗传学刺激，与特定大脑功能状态锁相的实时视觉刺激，以及基于神经元集群活动的虚拟现实控制。

在闭环实时光遗传学神经调控方面，研究通过功能聚类识别全脑神经元集群，将选定集群的自发活动作为触发信号，实施实时光遗传学刺激于目标神经元集群。相对于开环，闭环刺激有效激活了下游脑区。

在锁相的实时视觉刺激实验方面，研究通过实时监测蓝斑去甲肾上腺素能系统活动，在表征动物清醒状态的蓝斑兴奋时相上施加视觉刺激，观察到大脑中其他神经元的反应更为强烈。这表明大脑状态可调节视觉信息的处理，并提出闭环感觉刺激有助于探讨大脑内部状态与外界环境的相互作用。

在全脑光学脑机接口实现的虚拟现实方面，研究实时将高维的全脑所有神经元活动降维到多个神经元集群的活动，并将任一集群的活动与视觉环境闭环联接，建立了基于光学成像、直接从脑神经活动到视觉环境的虚拟现实系统。这一虚拟现实中，可以随意调整神经活动与环境耦合的增益，使控制环境的神经元集群根据增益变化适应性地调整输出。

研究工作得到科学技术部、国家自然科学基金委员会、中国科学院、上海市和深圳市的支持。相关成果已被授权发明专利“光学脑机接口系统和方法”。

论文链接 https://www.nature.com/articles/s41593-024-01595-6

概念图：借鉴天文数据处理体系搭建的实时处理系统可提取和解析斑马鱼全脑的神经元活动，展现了这一系统如何将内在世界的神经活动与外部现实世界连接起来的迷人之处。 

若本文收录的图片文字侵犯了您的权益，请邮件联系我们，我们将在24小时内予以删除。