基于深度学习与脑机接口的机器人控制系统
项目背景：
虽然自动化技术的日益发展完善，许多工种都被工业机器人所取代，但在工业生产、检修、以及井下等特种作业中仍有许多危险性较高的任务需要人工进行，倘若企业生产安全意识薄弱，那么相关的生产安全事故往往代价惨重。目前大多数用于工矿生产的特种作业机器人采用的是键盘、摇杆等外部设备控制，与人实际工作方式差别较大，许多对精确度要求较高的任务完成较为困难。而在许多科幻作品中，经常会出现无需任何操控装置，仅需挥动手臂就可以对机器人进行控制的场景。
本项目致力于通过基于深度学习的人体姿态检测和目标检测、生物电信号检测与处理等技术完成对机器人远程操控，实现机器人在远程状态下对操作者动作的准确识别与追踪,使机器人在未来能够替代人类本身进入危险环境中进行作业。
项目创新点与优势：
1. 使用基于飞桨深度学习框架实现的人体姿态估计、目标学习算法提高检测准确度
2. 利用人体姿态估计实现动作追踪，利用手势识别以及sEMG、EEG检测实现指令选择
3. 使用sEMG、EEG等生物电信号辅助控制，提高了系统的可操作性与鲁棒性
4. 直接对人体动作进行同步追踪降低了系统的学习成本
5. 使机器人能够完成相较传统机器人更加复杂的非既定动作
6. 该项目产品从工矿作业、地下挖掘到高空维修，预期应用场景丰富
项目进展:
1. 完成了脑电分析与预处理程序的开发：
采取坏导插值、滤波、重参考、去伪迹以及基线校正等步骤对脑电数据进行预处理。滤波采用了0.3至50Hz带通FIR有限脉冲响应滤波器与50Hz陷波滤波器；重参考采用全脑平均参考法，目的是减少参考电极带来的信息丢失；去伪迹采用了ICA独立成分分析结合眼电、肌电特征阈值法进行伪迹去除；基线校正采用事件开始前0.1秒与事件开始后0.1秒作为校正基线，用于去除脑电采集装置因温度等原因发生的基线漂移等现象。
2. 完成了基于深度学习的sMEG、EEG识别算法的设计与对应程序的开发：
采用POM-SVM进行sMEG表面肌电信号的识别，采用3DC-MHSA进行脑电信号的识别，最后利用决策树综合两种生理电信号的特征进行人体动作判断。
3. 完成了基于ROS的机器人控制系统设计以及机器人平台的软硬件开发；
借助ROS机器人系统节点间的分布式松耦合通讯机制，使得车和机械臂精确执地行控制指令。同时根据脑电信号分析节点发布的脑电信号识别结果，让动作执行节点根据执行器的运动学模型将脑电分析结果转换为每个执行器的运动期望值，并通过串口通讯将控制数据发送给下位机，下位机负责对每个执行器进行闭环PID控制。
4. 设计了适合于本项目的通讯协议，通过上位机和下位机的通讯实现脑电信号识别算法对机器人的控制，基本实现预 期功能。 |
