“清华人工智能论坛”—王生进教授《脑电识别与脑机交互》
发布于：2016-07-01 11:58 浏览：
导读：2016年6月6日，清华人工智能论坛在清华园成功举办，清华大学副校长薛其坤院士与张钹院士、马少平、张长水教授等来自清华大学人工智能领域的多位权威专家、芮勇、王小川、张连毅等杰出清华校友企业代表，和学术界、产业界、资本界等社会各界近500多人相聚清华园，纵论人工智能。本届论坛充分展现出了清华大学在人工智能领域强大、领先的学术、产业实力，与客观务实、创新进取的风貌，引发了人工智能界的广泛关注与轰动。引发了人工智能界的广泛关注与轰动。
本文内容选自清华大学电子工程系王生进教授于本届论坛上所做的题为《脑电识别与脑机交互》的演讲。他认为人类正处于人工智能的启蒙阶段，脑机交互，是人机交互的重要方向。探索人脑，发现感知认知机理，解明推理决策过程，实现自我意识。演讲全文如下：
王生进：各位来宾、各位专家，大家下午好。很高兴主办方能给我们提供这样一个机会，让我们同行在一起能够开启探讨人工智能未来发展之路。刚才张院士的报告非常精彩，张院士把人工智能的过去、现在和未来做了一个全面的概述，高屋建瓴。我下面讲一个人工智能应用的具体技术，就是脑电识别和脑机交互。
我来自清华电子系智能图文信息处理研究室，我们研究室的主任是丁晓青教授。我们研究室在过去将近20年的时间当中一直是在从事人工智能领域的研究，主要是在计算机视觉和模式识别方面，也取得了一些成果。比如说我们的TH-OCR，就是刚才薛校长提到的一个文字识别的技术，授权于微软，在微软office2003里得到使用。我们的人脸识别技术在一些国际竞赛当中也取得了不错的成绩。另外就是我们的人脸识别技术也在实际当中得到了应用。我们人脸识别现在的技术水平，在LFW库上实现超过99%的识别准确率。另外我们构建的时空信息行人再识别数据库，下载达3700次，相关的成果也将发表在今年6月份的PAMI上。我们的人脸识别技术应用在深圳口岸的自助通关，应用的情况可以看一下这个视频。以往海关通关都是要经过人来看证件，然后比对通关的人。因为深圳罗湖口岸是香港通关口岸，人非常多，在比对准确率和劳动强度上有很大的负担。希望能够通过机器代替人工去确认通关的人。目前的通关系统里采用了指纹和人脸识别，人脸识别采用清华大学我们的技术，指纹采用中科院的技术。
刚才张院士在人工智能方面介绍了非常多非常好的内容。人工智能是一门研究模拟人脑智能，实现机器智能的一门科学，它是让机器既能代替人类做繁重繁琐的蛮力计算（工作），又能使得机器独立思考，甚至在某些功能上能够超越人类。通过信号识别（图像、语音、脑电波等）、逻辑判断、自然语言处理，感知和反馈，体现人工智能的含义。我们人类正处于人工智能的启蒙阶段，探索人脑，发现感知认知机理，解明推理决策过程，实现自我意识，也是我们人工智能未来研究的重要方面。
今天我要讲的是关于脑电识别和脑机交互。关于脑机交互的问题也有很多的研究报道，脑机交互是人机交互的重要方向。在科幻方面也做了相关的前瞻性的预言。我们发现其实多少年前的一些科幻电影里面出现的一些场景，到现在很多都变成了现实。比如说科幻电影《我的个神啊》，在这个影片中，外星球已经不再是通过语言进行交流，而是直接通过脑波交互读取思维。心智模型构建让脑波交互成为可能，在人工智能领域将得到更深层次的应用，心智模型植入机器系统，将成为人工智能的一个基础载体。搭载了心智模型的机器人，将使人类和机器人之间的交互更趋智能化和人性化。人机交互因人类需求升级而发展。
下面介绍一下关于脑电识别和脑机交互的相关情况。从世界范围内来说，关于人脑和类脑的研究已经引起了相当的重视，《科学》杂志2013年的时候提出了6个值得关注的科学领域，其中之一就是人脑连接组计划。这个计划主要目的是希望能够使用不同的人脑分析技术，来研究活体人脑功能。另外欧盟启动人脑工程项目，欧盟在2013年的时候宣布“未来和新兴技术旗舰项目”，其中两个项目入选了，石墨烯和人脑工程。人脑工程，希望能够用计算机模拟的方法来研究人类大脑是如何工作的，这个研究有望促进人工智能、机器人和神经形态计算系统的发展。
奥巴马政府宣布了一项致力于对人脑进行绘图的研究计划。他们三者所希望的目的是不一样的，NIH（美国国家卫生研究院）希望这个项目能够让研究人员探索脑细胞间的协作方式，对于治愈老年痴呆症等一些其他的疾病能够提供帮助。DARPA（国防部先进研究项目局）希望能够开发出记录和分析脑功能的方法，未来能够对遭遇脑损伤及创伤后压力的军人提供治疗。NSF（美国国家科学基金会）则希望了解神经网络的运作模式，并借此开发出能够处理海量信息的数据处理模型，就是模拟人脑。刚才张院士也提到，利用人脑处理数据非常快，它希望能够解决这样一个工作机理。二十一世纪是脑科学与人工智能相结合的世纪。现在各国政府都已经在这方面投入了很大的人力和财力来从事这方面的研究，都将其列为未来研究的重大课题。
目前的研究情况。从脑功能的研究上来说，研究手段上分为三大类：一，侵入式，就是把电极植入到脑内，来形成皮质脑电图（ECoG)）。第二，非侵入式，这钟侵入式需要很庞大的设备，比如说MEG（脑磁信号）设备，这个设备体量是非常大的。还有一种非侵入式，就是利用脑电信号（EEG），EEG信号的特点是设备非常小，可以做成一个便携式装置，甚至非常便宜，实用性很好。它应该是未来脑机交互的一个应用的趋势，它的工作原理主要是视觉驱动电势，我们通常叫VEP和ERP。
从研究的目的上分也有三大目标，第一就是疾病的诊断和诊治，第二是感知认知，也即人工智能的研究，第三是脑机交互的研究，就是人不用通过手，也不用通过语言，只要通过大脑的想象来和机器进行交互。这种需求是存在的，比如说瘫痪的病人或者是手脚及语言有障碍的人，或者是老年人等。就是说我只能靠想象，包括靠思维能够驱动机器的情况，这个是非常难的，不仅在这个地方，我们可以看到美军在战场上其实也在研究利用脑电去做目标的探测，提高目标探测的准确性。
脑电信号（EEG）直接反映人脑活动和认知特性，可以做情绪的监测、疾病的检测、脑机的交互。在应用领域和前景上是非常广阔的，比如说在人工智能领域，它可以探索人脑活动和认知规律，在脑机交互上也可以帮助残疾人来控制轮椅等设备，目标检测上可以借助脑电信号提高目标检测的性能。在情绪监测上可以感知工作状态、压力和焦虑等等。另外就是在一些EEG研究上，利用EEG和对视觉的刺激上，可以研究人对视觉感知的特点，来启发视觉研究等等。应用的前景非常好。
目前主要的问题：
1、脑电信号的识别性能非常低。因为我们知道脑电信号信噪比是非常低的，因此准确率很难达到像刚才张院士提到的人脸或者猫脸识别的准确率。因此它的准确率和它的计算复杂度都难以满足实际应用的需求（目前的情况）。比如说需要15个循环识别才能达到97%的准确率。
2、现有方法针对脑电信号多通道、强噪声特点，有效降噪方法和分类理论尚不完善 。
3、现有分类模型从理论上解决通道鉴别性分析和相关通道选择问题的思路尚不十分有效。
4、现有脑机接口系统模式单一（范式还比较单一），我后面会介绍几个比较典型的范式，训练的过程也是相对比较复杂，离实用还差得比较远，但是作为研究来说，还是十分具有研究价值的方向。
科学问题和亟需要突破的技术。针对我前面提到的问题，我们提出三项需要解决的科学问题：
1、在这个研究当中需要发现新的视觉驱动与脑电信号的相关性。就是低信噪比脑电信号下的高准确识别理论。
2、寻找和探索更有效的基于思维的脑机交互范式。
3、基于人的视觉感知机理的计算模型，希望通过脑电的信号处理和脑机交互的方式，能够发现和探索这样的计算模型。
对于这三个科学问题需要解决的三个关键技术如下：
1、低信噪比脑电信号高准确率识别方法。
2、面向多种范式的思维脑控技术。重点研究就是VEP，现在一个比较有效的就是SSVEP，这是清华生医提出来的。还有运动想象脑控技术和方法，以及更多的范式的研究，希望能够发现。
3、基于脑电信号的有效视觉特性分析。我通过给你看什么东西，人类会有什么样的反应，这个反应通过脑电的识别，我能够发现这种反应，把这种特点找到，把这种规律找到，用于我们的人工智能研究。
对未来驱动我们是这样看，脑电信号分析研究对本领域未来的推动：1、结合信号处理、机器学习、统计学习理论，实行强干扰、极低信噪比下的高准确度脑电信号识别理论。2、利用VEP、ERP范式，探索和掌握通用环境下稳定、鲁棒的基于思维脑电的脑机接口方法。3、通过探索人脑视觉感知的工作机理，改进视觉认知计算模型，启发人工智能与计算机视觉研究和发展。
目前的一些研究的情况。这个方面国外走得比较快，美国在这方面处于领先地位。刚才我提到利用脑电信号做的目标探测来提高目标探测的性能。这个是DARPA开发的CT2WS系统，是利用脑电波识别和认知的范围来进行战场目标检测，主要是通过脑电波的图像筛选来把战场的虚警目标信号能够快速地筛选掉。因为我们知道目前的模式识别，做图像的目标探测其实是虚警率非常高的，特别是在战场环境非常恶劣，目标并不明显的情况下，任何一个算法，人工智能的算法或者是模式识别算法，拿到战场，虚景都是非常高的，虚景高了以后，不可能每个虚景目标都打一个炮弹，这个时候利用脑电的识别，这个脑电的识别其实用的就是P300范式，用非常快的速度把虚景信号让人去看，人在无意识当中就能产生一种脑电波，这种脑电波对于真正目标信号和非目标信号能够产生一种有差别的信号模式。脑电识别可以通过这样一种脑电波的差别来把这些虚景里面的真正目标提取出来，把这些真正的虚景剔掉，这样就提高了目标识别的准确率。给人看的速度是非常快的，在几十毫秒，这时的脑电是人的一种本能的反应。主要目的是提高战场上战士的目标探测准确率，这就是人机结合的方式。这个例子，是明尼苏达大学研究，利用脑电波扫描系统，网上也有相应的视频，有机会大家可以去网站上看一下这个视频，控制得还是相当不错的。
哈佛大学实现了利用脑电波控制老鼠的运动。其实希望能够利用这样一种原理，实验人员在老鼠上做的实验，是希望通过这样一种方式使他们的病人恢复运动的机能，使截肢的人能够更好控制假肢，也是带着这样一个传感器，但是这个传感器是非常小型化的传感器，所以非常实用。另外还有一个就是美国科罗拉多州的一个人（Easton LaChappelle）开发了脑电波控制的机械手臂（Anthromod）。它的目的也是帮助残疾人士能够完成最基本的动作，这个人不仅获得了国际科学工程大赛的二等奖，更是收到了NASA的Offer，也受到了美国奥巴马总统的接见。这是国际的情况。我们国内也有很多成果。
我们这个组在脑电信号识别和脑机交互方面做的成果。我们聚焦的传感器不是像刚才戴的这种电极帽的形式，电极帽的形式在科学研究里面适用，电极帽的通道非常多（64导或者128导），但是我们考虑到今后能够真正用到普通的生活当中，电极帽的方式不是很方便，我们希望能够有一个非常简便的仪器，我们聚焦的是干电极式脑电信号以及脑机交互的研究。我们建立这样一个研究室，也收集了很多的脑电信号。首先在这个领域，第一个要解决的问题就是低信噪比问题，因为脑电信号信噪非常差，怎么样通过降噪、预处理等等，能够把噪声抑制掉，能够把真正的脑电信号提取出来，是关键课题。这样我们才能进行后面的脑电识别。我们做了一些相关的工作，这是第一个，就是降噪、信号处理。
第二个要做的工作，我们戴的电极帽也好，还是干电极也好，通道是很多的，比如现在14个通道，电极帽最少是64通道或者128通道，在这些通道里面，哪些通道是有效的？哪些通道是无效的，甚至哪些通道是其反作用的，我们必须把它了解清楚。我们做了一些通道选择方法的研究，在通道里面找出最有效的通道，在什么样的范式下，哪些通道最有效，我们在这方面做了一些研究工作，我们就利用这样的一个识别的方法去做脑机的交互。第一个做的是利用P300的范式去做脑机交互的打字。P300的范式就是偶然发生的这样一个视觉事件，在300毫秒以后能够产生一个特殊的脑电信号这样一个范式。利用这样一种范式就可以做一些工作，P300打字就是这样一个研究，比如说它可以显示这么多的字母。当你看到你要打的字母亮起来的时候，你的脑电在你看到这个字母的时候，这个脑电信号是有差别的。通过这样一个方式最后打出这样的字。我们可以通过脑电控制一些运动。比如说我们做运动想象，就是通过脑电的方式控制屏幕上的鼠标，这是通过运动想象去控制。我们做了一个脑控机器人系统，我们希望通过脑电的识别和脑机交互的方式，能够去让机器人知道，比如说我的残疾人想要去做什么，让机器人去拿一个东西，我首先要让机器人知道我想要去拿什么，然后驱动机器人走到这个物体前面，我再让机器人认识它要拿的东西，然后再把它拿回来，这个系统正在开发。可以看一下中间的过程。
这完全是通过脑电来控制机器人。这是现场脑电信号，我们从里面去分析脑电信号的作用。训练过程我们要让脑电系统能够知道我要选择哪个东西，这个是通过视觉，同样，这个用的还是P300的模式，就是你选这个物体，当它亮起的时候，你的脑电信号和暗下去时的脑电信号是不一样的，当它亮起的时候，我们这个时候可以识别出它的信号，这个时候我们知道你选的是这样一个杯子，由于信号非常低，至少要进行15次的循环才能达到97%的准确率。测试的时候也是同样的方式，轮回地闪烁，当你要选择的物体亮起的时候，脑电信号仍然是有区别的，我们通过分类器可以把信号区别出来。这个是驱动机器人的行走，机器人行走有这么多个方向，中间的符号是让机器人去取这个东西。经过这样的训练，这是训练的过程，然后就可以驱动这个机器人运动。
这个工作就是脑电信号来告诉他要取什么。走了几步以后还没有到的话就要继续走。刚才我们讲因为要循环很多次，所以时间比较长。走到这个地方以后再去选择拐弯的信号，通过脑电识别，然后它就可以转身，然后走向要取的物体方向，走路的过程就是脑电在驱动。走到这个地方以后，应该摆出东西，通过刚才介绍的图像识别的方式去认出那个东西，但是后面我们还没有做到那一步，所以只能这一步先到这儿。
脑电信号分析是脑机接口的基础和关键，它可以提供一种直接的人机交互方式，这一方式是依靠人的脑波信号，把它识别翻译成对机器的指令，脑电识别和脑机交互将会对人机交互方式产生革命性的影响。脑电信号分析是人工智能研究的一个重要部分，通过脑电识别，可以为我们探索人脑，发现感知认知机理，解明逻辑推理过程，提供有效的人工智能研究手段和技术途径，二十一世纪是脑电识别和脑机交互的世纪。这是我们团队部分脑电方面的研究成员照片。
以上就是我的报告，谢谢大家的聆听。
本次论坛由清华校友人工智能联盟、清华灵云人工智能研究中心、北京捷通华声科技股份有限公司等承办。
灵云平台更多信息：www.hcicloud.com
体验灵云克服机器人：010-82826886-8898
本文内容选自清华大学电子工程系王生进教授于本届论坛上所做的题为《脑电识别与脑机交互》的演讲。他认为人类正处于人工智能的启蒙阶段，脑机交互，是人机交互的重要方向。探索人脑，发现感知认知机理，解明推理决策过程，实现自我意识。演讲全文如下：
刚才张院士在人工智能方面介绍了非常多非常好的内容。人工智能是一门研究模拟人脑智能，实现机器智能的一门科学，它是让机器既能代替人类做繁重繁琐的蛮力计算（工作），又能使得机器独立思考，甚至在某些功能上能够超越人类。通过信号识别（图像、语音、脑电波等）、逻辑判断、自然语言处理，感知和反馈，体现人工智能的含义。我们人类正处于人工智能的启蒙阶段，探索人脑，发现感知认知机理，解明推理决策过程，实现自我意识，也是我们人工智能未来研究的重要方面。
下面介绍一下关于脑电识别和脑机交互的相关情况。从世界范围内来说，关于人脑和类脑的研究已经引起了相当的重视，《科学》杂志2013年的时候提出了6个值得关注的科学领域，其中之一就是人脑连接组计划。这个计划主要目的是希望能够使用不同的人脑分析技术，来研究活体人脑功能。另外欧盟启动人脑工程项目，欧盟在2013年的时候宣布“未来和新兴技术旗舰项目”，其中两个项目入选了，石墨烯和人脑工程。人脑工程，希望能够用计算机模拟的方法来研究人类大脑是如何工作的，这个研究有望促进人工智能、机器人和神经形态计算系统的发展。
奥巴马政府宣布了一项致力于对人脑进行绘图的研究计划。他们三者所希望的目的是不一样的，NIH（美国国家卫生研究院）希望这个项目能够让研究人员探索脑细胞间的协作方式，对于治愈老年痴呆症等一些其他的疾病能够提供帮助。DARPA（国防部先进研究项目局）希望能够开发出记录和分析脑功能的方法，未来能够对遭遇脑损伤及创伤后压力的军人提供治疗。NSF（美国国家科学基金会）则希望了解神经网络的运作模式，并借此开发出能够处理海量信息的数据处理模型，就是模拟人脑。刚才张院士也提到，利用人脑处理数据非常快，它希望能够解决这样一个工作机理。二十一世纪是脑科学与人工智能相结合的世纪。现在各国政府都已经在这方面投入了很大的人力和财力来从事这方面的研究，都将其列为未来研究的重大课题。
目前的研究情况。从脑功能的研究上来说，研究手段上分为三大类：一，侵入式，就是把电极植入到脑内，来形成皮质脑电图（ECoG)）。第二，非侵入式，这钟侵入式需要很庞大的设备，比如说MEG（脑磁信号）设备，这个设备体量是非常大的。还有一种非侵入式，就是利用脑电信号（EEG），EEG信号的特点是设备非常小，可以做成一个便携式装置，甚至非常便宜，实用性很好。它应该是未来脑机交互的一个应用的趋势，它的工作原理主要是视觉驱动电势，我们通常叫VEP和ERP。
脑电信号（EEG）直接反映人脑活动和认知特性，可以做情绪的监测、疾病的检测、脑机的交互。在应用领域和前景上是非常广阔的，比如说在人工智能领域，它可以探索人脑活动和认知规律，在脑机交互上也可以帮助残疾人来控制轮椅等设备，目标检测上可以借助脑电信号提高目标检测的性能。在情绪监测上可以感知工作状态、压力和焦虑等等。另外就是在一些EEG研究上，利用EEG和对视觉的刺激上，可以研究人对视觉感知的特点，来启发视觉研究等等。应用的前景非常好。
目前主要的问题：
1、脑电信号的识别性能非常低。因为我们知道脑电信号信噪比是非常低的，因此准确率很难达到像刚才张院士提到的人脸或者猫脸识别的准确率。因此它的准确率和它的计算复杂度都难以满足实际应用的需求（目前的情况）。比如说需要15个循环识别才能达到97%的准确率。
2、现有方法针对脑电信号多通道、强噪声特点，有效降噪方法和分类理论尚不完善 。
3、现有分类模型从理论上解决通道鉴别性分析和相关通道选择问题的思路尚不十分有效。
4、现有脑机接口系统模式单一（范式还比较单一），我后面会介绍几个比较典型的范式，训练的过程也是相对比较复杂，离实用还差得比较远，但是作为研究来说，还是十分具有研究价值的方向。
科学问题和亟需要突破的技术。针对我前面提到的问题，我们提出三项需要解决的科学问题：
1、在这个研究当中需要发现新的视觉驱动与脑电信号的相关性。就是低信噪比脑电信号下的高准确识别理论。
2、寻找和探索更有效的基于思维的脑机交互范式。
3、基于人的视觉感知机理的计算模型，希望通过脑电的信号处理和脑机交互的方式，能够发现和探索这样的计算模型。
对于这三个科学问题需要解决的三个关键技术如下：
1、低信噪比脑电信号高准确率识别方法。
2、面向多种范式的思维脑控技术。重点研究就是VEP，现在一个比较有效的就是SSVEP，这是清华生医提出来的。还有运动想象脑控技术和方法，以及更多的范式的研究，希望能够发现。
3、基于脑电信号的有效视觉特性分析。我通过给你看什么东西，人类会有什么样的反应，这个反应通过脑电的识别，我能够发现这种反应，把这种特点找到，把这种规律找到，用于我们的人工智能研究。
对未来驱动我们是这样看，脑电信号分析研究对本领域未来的推动：1、结合信号处理、机器学习、统计学习理论，实行强干扰、极低信噪比下的高准确度脑电信号识别理论。2、利用VEP、ERP范式，探索和掌握通用环境下稳定、鲁棒的基于思维脑电的脑机接口方法。3、通过探索人脑视觉感知的工作机理，改进视觉认知计算模型，启发人工智能与计算机视觉研究和发展。
我们这个组在脑电信号识别和脑机交互方面做的成果。我们聚焦的传感器不是像刚才戴的这种电极帽的形式，电极帽的形式在科学研究里面适用，电极帽的通道非常多（64导或者128导），但是我们考虑到今后能够真正用到普通的生活当中，电极帽的方式不是很方便，我们希望能够有一个非常简便的仪器，我们聚焦的是干电极式脑电信号以及脑机交互的研究。我们建立这样一个研究室，也收集了很多的脑电信号。首先在这个领域，第一个要解决的问题就是低信噪比问题，因为脑电信号信噪非常差，怎么样通过降噪、预处理等等，能够把噪声抑制掉，能够把真正的脑电信号提取出来，是关键课题。这样我们才能进行后面的脑电识别。我们做了一些相关的工作，这是第一个，就是降噪、信号处理。
这完全是通过脑电来控制机器人。这是现场脑电信号，我们从里面去分析脑电信号的作用。训练过程我们要让脑电系统能够知道我要选择哪个东西，这个是通过视觉，同样，这个用的还是P300的模式，就是你选这个物体，当它亮起的时候，你的脑电信号和暗下去时的脑电信号是不一样的，当它亮起的时候，我们这个时候可以识别出它的信号，这个时候我们知道你选的是这样一个杯子，由于信号非常低，至少要进行15次的循环才能达到97%的准确率。测试的时候也是同样的方式，轮回地闪烁，当你要选择的物体亮起的时候，脑电信号仍然是有区别的，我们通过分类器可以把信号区别出来。这个是驱动机器人的行走，机器人行走有这么多个方向，中间的符号是让机器人去取这个东西。经过这样的训练，这是训练的过程，然后就可以驱动这个机器人运动。
以上就是我的报告，谢谢大家的聆听。
本次论坛由清华校友人工智能联盟、清华灵云人工智能研究中心、北京捷通华声科技股份有限公司等承办。
灵云平台更多信息：www.hcicloud.com
体验灵云克服机器人：010-82826886-8898