
过去二十年,人机交互的主线,是让机器更懂 “命令”。
从键盘、鼠标到触控屏,再到语音助手与大语言模型,交互效率不断提高,但基本逻辑没有改变:人先把意图翻译成机器能够理解的指令,机器再执行。即便今天的 AI 已经可以理解自然语言,它仍然主要停留在 “听懂你说了什么”,而不是 “理解你正在做什么、为什么这样做,以及下一秒准备如何行动”。
具身智能正在打破这一边界。机器人进入工厂、家庭和服务场景后,真正困难的已不再只是推理,而是如何在真实世界中完成稳定、精细、连续的动作。与此同时,神经科技也正在从医疗康复和可穿戴交互,走向机器训练、动作理解和物理控制。
两条原本相对独立的技术路线开始汇合:具身智能需要更接近人类控制机制的数据,神经科技则需要一个足够大的应用场景。二者的交点,可能孕育出下一代人机交互范式 —— 机器不再等待明确指令,而是从脑电、肌电、触觉和行为中理解人的意图,并在物理世界中与人形成闭环协作。
01
从“输入指令”转向“读取意图”
传统交互设备采集的是动作结果。鼠标记录位移,摄像头看到手势,动作捕捉系统重建关节轨迹。这些数据可以回答 “人做了什么”,却很难回答 “为什么这样做”“用了多大力”“动作过程中如何微调”。
神经信号恰好填补了这一空白。
表面肌电位于大脑运动指令传向肌肉的链路中间,既包含动作即将发生时的神经肌肉活动,也包含发力和微控制信息;脑电则更接近运动想象、注意、惊讶和错误感知等高层状态。由此,人机交互的输入端开始从外显动作向内隐意图前移。
卡内基梅隆大学团队展示的非侵入式脑机系统,是这一变化的典型案例。21 名受试者佩戴 128 通道脑电帽,通过运动想象实时控制机器手单根手指。两指任务的在线准确率达到 80.56%,三指任务达到 60.61%。

更关键的并不是数字本身,而是 “想动哪根手指,机器就动哪根手指” 的自然映射。它不再要求用户学习反直觉的控制暗号,而是让机器适配人的运动意图。在线微调解决了脑电漂移问题,平滑机制则减少标签跳变,使控制从一次性分类走向连续、稳定的交互。
这意味着,未来的人机接口未必是一块新屏幕,也未必是一套更复杂的手势语言。它更可能是一种 “意图层接口”:人在产生动作计划时,机器已经开始理解;人在意识到操作出错时,系统已经捕捉到错误相关状态;人在尚未完成动作前,机器人便可以提前协同。
02
具身智能真正缺的,不只是视频,而是“控制过程”
大模型的跃迁来自互联网数据,但物理AI没有一个现成的“互联网”。机器人所需的数据,必须在人与真实世界的交互中被生产出来。
第一视角视频、遥操作和动作捕捉可以记录动作轨迹,却往往丢失遮挡下的手部状态、肌肉发力以及动作修正过程。
以清华大学自动化系长聘副教授冯建江团队发布的 EgoEMG: A Multimodal Egocentric Dataset with Bilateral EMG and Vision for Hand Pose Estimation》为例。EgoEMG 数据集揭示了神经科技进入具身智能的另一条路径。该数据集同步采集 41 名受试者的双侧肌电、IMU、第一视角 RGB、外部 RGB-D 和光学动捕数据,覆盖 60 类手势、超过 10 小时,并重建 22 自由度手部关节角。它把 “看到什么”“肌肉如何发力”“手最终如何运动” 放到同一时间轴上。

团队提出的 EMGFormer,在跨用户泛化任务上较上一代基线提升 22%;而肌电与视觉融合,在遮挡、运动模糊和深度歧义场景中优于单一视觉方案。
从产业角度看,这改变了机器人数据的基本单位。过去,一条训练样本通常是 “视频 — 动作”;未来,它可能变成 “场景 — 意图 — 肌肉激活 — 动作轨迹 — 接触反馈 — 结果”。机器人学习的也不再只是模仿表面动作,而是逼近人类完整的感知、决策与执行链条。
这说明,具身智能的数据竞争正在从 “数量” 走向 “因果密度”。同样一段动作视频,如果同时包含神经意图、发力变化和错误反馈,它对模型的价值不只是多一个模态,而是多了一条解释动作为何发生的因果链。
03
神经意图与机器触觉的闭环正在形成新范式
只有读取人的意图,还不足以构成完整交互。
机器人必须知道自己是否抓稳、是否滑落、接触的是软物体还是硬物体,以及人的指令“轻一点”在物理上意味着什么。因此,神经科技解决的是“人想做什么”,触觉解决的是“机器实际做成了什么”。
现有多模态触觉系统普遍遵循四阶段流程:先把形变、力和振动转化为数字信号,再分别编码视觉、触觉和语言,随后通过注意力或对比学习形成联合表征,最终输出识别结果、语言描述或控制动作。
触觉研究也正从物体识别走向材料判断、抓取成败预测、跨模态生成和语言指令下的连续操作。例如,当人说“轻轻抓住那个软物体”时,系统需要同时理解语言语义、视觉几何与实时接触力,而不是把一句话机械地映射为固定的夹爪力度。
由此可以看到下一代交互闭环:脑电或肌电提供人的意图与状态,机器人视觉理解场景,触觉感知接触结果,具身模型完成规划与控制,反馈再返回给人,或者被用于继续修正动作。
交互不再是“人下命令—机器执行”的单向链路,而是双方不断预测、校正和适应的共同控制。
这一范式在康复假肢、工业协作、智能眼镜和服务机器人中都具有直接价值。对于假肢用户,神经接口可以提供自然控制,触觉反馈帮助判断抓握是否稳定;对于工业协作,机器人可以结合工人的肌电和脑状态,提前感知接管意图或操作风险;对于AI眼镜,神经腕带可以成为不依赖语音的隐形输入;对于家庭机器人,人的微弱动作、发力趋势甚至错误意识,都可能转化为协作信号。
04
产业机会将从“卖设备”转向“掌握闭环”
这场融合带来的最大变化,不是多了一类可穿戴硬件,而是产业价值链被重新排列。
一端是数据入口。神经腕带、脑电头环、触觉皮肤和第一视角设备,将持续采集真实世界中的人类操作数据。
而未来所代表的路线,正是希望以非侵入式神经接口切入 Physical AI 数据基础设施:硬件负责采集,AI 解码模型把原始肌电翻译成姿态、动作意图、发力趋势和微控制,再服务于机器人训练与人机交互。其商业价值因此不只来自设备销售,更可能来自长期的数据服务和模型能力。
另一端是闭环模型。未来真正有壁垒的公司,不会只拥有一款脑电帽、一条肌电腕带或一块电子皮肤,而会掌握 “采集 — 解码 — 融合 — 控制 — 反馈” 的完整链条。

原因在于,神经信号个体差异大,触觉传感器形态不统一,跨模态数据存在时空不对齐,单点硬件很容易被替代,持续积累的人体数据、适配算法和闭环场景才是核心资产。
当然,这条路径仍面临现实约束:脑电空间分辨率有限,肌电跨用户泛化困难,触觉数据规模远小于视觉语言数据,不同传感器缺乏统一标准,实时系统还要同时处理功耗、延迟、耐久性与安全问题。
更重要的是,神经数据涉及高度敏感的人体信息,未来必须建立清晰的数据授权、用途边界和隐私治理机制。否则,越自然的交互,也可能意味着越深层的数据暴露。
但方向已经逐渐清晰。
过去的人机交互,是人学习机器的语言;智能时代的下一阶段,将是机器学习人的神经语言。具身智能给神经科技提供了规模化场景,神经科技则为具身智能补上意图、发力和状态理解。两者一旦与触觉、视觉和世界模型形成闭环,人机关系将从 “使用工具” 走向 “共同完成任务”。
届时,决定交互体验的将不再是按钮多少、屏幕大小或语音识别率,而是机器能否在恰当的时刻理解人的意图,在真实世界中做出合适动作,并通过持续反馈与人协同修正。
神经科技与具身智能的融合,真正重塑的不是一个新入口,而是人和机器彼此理解、共同作用于物理世界的方式。




