就在刚刚，BeingBeyond智在无界正式推出了首个基于人类视频数据的隐式触觉世界动作模型——Being-H0.8。

这是一套赋予机器人“触觉”的隐式世界—动作系统。在预训练阶段，它便教会了机器人提前预判即将发生的接触，并在真实触碰后，依据触觉反馈迅速修正动作。

传统的 world model 往往仅凭视觉画面决定动作，而 Being-H0.8 将触觉完整嵌入了“预测—执行—反馈”闭环：模型先根据当前画面预判潜在接触点，在执行中读取最新触觉信号，随即重新生成下一段动作指令。

为实现这一突破，Being-H0.8 从数据、模型架构及控制策略三个维度同步发力。凭借这套方案，该模型在真实双臂机器人实验中，成功完成了包中取物、毛笔书写、挤牙膏以及夹取薯片等高度依赖触觉反馈的高难度精细任务。

**首个基于人类视频数据的隐式触觉世界动作模型**

Being-H0.8 的核心亮点，在于其创新的隐式触觉世界动作模型架构，以及背后支撑的超 50 万小时海量数据集。我们先聚焦于模型本身。

对于具身智能而言，触觉不仅是实现精细操作的关键，更能辅助完成单靠视觉无法完成的接触推断。过去两年间，围绕触觉如何赋能具身基础模型，学界已展开诸多探索，李飞飞、徐丹飞、Wenzhen Yuan、宋舒然等学者均在该方向持续深耕。

但若将视角收窄至世界模型领域，一个核心问题仍未解开：触觉究竟应以何种方式融入世界模型？

一方面，现有世界模型多以视觉为主导。它们能观测物体的移动与形变，却难以精准判断接触是否发生、发生在何处，以及物体承受的具体受力情况。

另一方面，尽管触觉传感器种类繁多，但数据形态与表征方式缺乏统一标准。更严峻的现实是，绝大多数大规模人类视频和机器人数据集，并未同步记录触觉信息。

这意味着，训练具备触觉能力的世界模型，面临着触觉表征不统一、且缺乏规模化训练数据的双重困境。

Being-H0.8 正是智在无界针对这一痛点提出的解决方案。

基于 Being-H0.7 隐式世界—动作模型，Being-H0.8 首次将触觉模态纳入隐空间表示，构建了隐式触觉世界—动作模型（Latent Tactile World-Action Model），成功将触觉预训练扩展至可规模化的第一视角人类视频数据。

关键在于，Being-H0.8 并不追求在像素层面重建未来画面，而是在隐空间中预测与任务直接相关的交互后果，例如接触与否、接触引发的状态变化，并利用这些潜在状态来调节动作生成。

换言之，Being-H0.8 旨在让机器人不仅“看到”未来，更能从无显式触觉标注的人类视频中，习得对接触和受力结果的隐式判断能力。

具体架构上，Being-H0.8 包含四大核心模块：用于预测交互后果的混合 Transformer（Mixture of Transformers, MoT）、兼顾推理效率与实时调整的慢—快动作专家、统一触觉输入的通用触觉编码器，以及统一动作空间的 TopoHand。

通用触觉编码器首先将各类传感器采集的触觉信号转化为统一的触觉 token，以此抹平不同设备及数据形态间的差异。

慢—快动作专家则负责平衡推理速度与接触反馈。这使得机器人无需在每次触觉变化时重新计算完整计划，便能根据滑动、受力改变或接触偏移即时调整动作。

在训练阶段，未来时刻的触觉 token 进入 MoT 的后验分支，帮助模型理解真实接触后世界状态的演变。

部署阶段，MoT 负责预判交互后果，慢速流维持全局上下文，快速流则依据最新触觉进行实时纠偏。

至此，触觉不再是动作结束后的附加反馈，而是深度介入机器人的“预测、执行与调整”全过程。

**超过 50 万小时的数据池**

模型架构明晰后，另一个自然浮现的问题是：训练数据从何而来？

这引出了 Being-H0.8 的另一大支柱——数据体系。

作为国内率先利用大规模人类视频预训练具身基础模型的企业之一，智在无界长期深耕人类视频预训练路线，持续积累数据并应用于具身模型训练。

Being-H0.8 的数据底座，正是这一路线长期沉淀的成果。

历经从 Being-H0 到 Being-H0.8 的多次迭代，智在无界已汇聚超过 500,000 小时的第一人称视频数据，并与数十家数据供应商建立合作。

这些视频涵盖自然物体交互、长程任务、丰富手部动作及多样场景，为具身模型提供了大规模的人类交互经验。据团队介绍，这也是目前国内规模最大的人类操作视频数据池。

然而，50 万小时原始视频并不等同于可直接训练的 50 万小时数据。

原始视频中混杂着大量无效片段：无手部可见、缺乏有效操作、镜头剧烈抖动、与桌面交互无关或内容高度重复的片段；且不同来源的数据在场景、任务、视角和动作分布上差异显著。

为此，团队构建了一套面向数十万小时视频的数据处理管线，对原始数据进行过滤、去重、切分、语言标注及分布再平衡。

团队首先剔除无效片段，将长视频切割为连续短片段，并补充细粒度语言描述。

但仅有画面和文字尚显不足。具身模型需知晓画面事件，更需掌握人手状态及执行动作。

针对缺乏准确动作标注的人类视频，团队采用 MANO 统一表示手部状态，通过 HMR（hand motion refinement）恢复并细化裸手运动轨迹，再利用 Caliball 补齐缺失相机参数，从中提取可用于学习的手部动作信息。

对于机器人数据，团队重新整理规范化 URDF，统一关节约定、相机坐标系及手腕位姿表示，并对各数据集完成校准、同步与验证。

此外，团队逐项核查数据完整性、运动学一致性、跨模态同步性及语言描述与视频内容的匹配度。

经过滤、重建与标准化处理后，来自不同源头的人类视频与机器人轨迹被整合为相对统一的数据格式，最终形成 UniHand3.0 训练数据。

但此时，这套数据仍缺最关键一环——触觉。

**把没有触觉的视频，变成可训练的触觉数据**

清洗、重建与标准化虽赋予了模型大规模操作数据，却无法直接告知接触位置、力度变化及接触后的物体反馈。

Being-H0.8 接下来的工作，即是将这些无触觉记录的视频，转化为可参与模型训练的触觉数据。

整套流程分为四步：

沿此路径，无显式触觉记录的人类视频，最终被转换为能进入世界模型的统一触觉与动作表征。

**第一步：从视频中恢复接触**

Being-H0.8 提出 TactoHand，用于从无触觉标注的人类视频中预测稠密伪触觉监督，解决大规模人类视频普遍缺失触觉信号的问题。

TactoHand 的核心逻辑是不依赖每段视频同步采集真实触觉，而是利用手与物体间的三维几何关系推断接触。

在带三维标注的数据中，系统获取已配准的手部网格与物体网格。通过计算手部顶点与物体表面距离，结合二者表面方向，TactoHand 判定手部各位置是否与物体接触。

在此基础上，TactoHand 在 MANO 手部表面的 778 个顶点上预测两类信息：一是接触标注，判定碰触点；二是邻近度标注，描述手指从靠近到接触的连续过程。

该模型使用 21 个人—物交互数据源、共计 3010 万帧数据进行训练，并引入时序信息辅助判断。毕竟，单帧画面中看似贴合的手与物体可能仅是视角重叠，结合连续动作方能更准确判断接触真伪。

训练完成后，TactoHand 应用于普通第一视角视频。UniHand3.0 先重建并跟踪视频中手部运动，再将预测出的接触和邻近度信息映射回统一 MANO 拓扑。

对重建结果不可靠的位置，系统标记为无效，而非直接判定为“无接触”。

**第二步：用真实传感器补充压力**

从视觉推断接触终究无法完全替代真实触觉传感器。

几何关系可恢复接触位置和邻近程度，却难获压力、摩擦、剪切力、滑移及材质等细致物理信息。

因此，UniHand3.0 加入约 55 小时、540 万同步帧的压力手套数据，并将真实压力信号投影至同一套 MANO 手部表面。

两类数据互补：大规模人类视频覆盖更多物体、场景和动作，真实触觉传感器提供精准物理压力信息。

**第三步：统一不同触觉数据**

数据有了，格式却仍混乱。

部分数据仅标记接触与否，部分来自少数指尖传感器，部分提供逐顶点邻近度或压力，还有大量样本缺失某一类触觉通道。

为此，Being-H0.8 设计通用触觉编码器，在统一手部拓扑上建立由粗到细的触觉金字塔。

从整只手接触，到具体区域、指尖，再到逐顶点压力或邻近度，不同来源数据均可映射至对应空间粒度。

每个触觉 token 除记录接触、邻近度或压力外，还携带三维位置、拓扑位置、左右手信息及有效性标记。

其中，有效性标记至关重要。“无压力传感器”与“压力读数为零”截然不同。

最后，模型通过 Perceiver 结构，将长度不同、密度不同的触觉输入压缩为固定数量触觉 token。

**第四步：对齐人手与机器人动作**

触觉表示统一后，还需跨越人手与机器人间的动作鸿沟。

人手、灵巧手和平行夹爪在几何结构、自由度和控制空间上差异明显。同一“捏住”“抓取”或“松开”动作，在不同本体上可能对应完全不同表示。

为此，Being-H0.8 设计 TopoHand，将手部表示拆分为手腕位姿、形态编码、20 个规范关节角和夹爪张开量，使语义相近动作进入相同表示槽位。

它并非将所有手改造为同一种结构，而是让人手、灵巧手和夹爪开始使用一套可相互对齐的动作语言。

至此，从普通视频恢复的隐式触觉、真实传感器采集的压力信号，以及不同本体动作数据，才真正统一于同一表示体系。

这套数据 pipeline 解决了触觉“来源与统一”问题：

TactoHand 从大规模视频补全接触监督，真实传感器提供更准压力信息，通用触觉编码器转化统一触觉 token，TopoHand 进一步对齐人手与机器人动作。

准备就绪后，触觉真正进入 Being-H0.8 “预测—执行—反馈”链路：训练时助其学习接触带来的状态变化，部署时作为实时反馈，持续修正机器人后续动作。

**团队介绍**

最后，简要介绍 Being-H 系列背后的团队——

BeingBeyond（智在无界）。

BeingBeyond 成立于 2025 年 5 月。创始人卢宗青系北京大学计算机学院长聘副教授、智源学者，长期深耕强化学习与多模态模型研究。

学术界中，他最早探索利用大规模人类视频训练具身模型，这也成为 BeingBeyond 技术路线起点。

回顾 Being-H 系列发展，这条路线大致经历三个阶段。

第一阶段解决“人类视频怎么用”。从 Being-H0 到 Being-H0.5，团队验证了利用人类视频预训练具身模型的可行性，使机器人能从人类操作中习得可迁移动作经验。

第二阶段关注“怎么规模化地用”。从 Being-H0.5 到 Being-H0.7，团队扩大数据规模，进一步解决跨本体学习和隐式世界建模问题，让海量异构人类视频真正参与具身模型训练。

至 Being-H0.8，问题进入第三阶段：人类视频怎么高质量地用。重点不再仅是增加数据量，而是通过清洗、动作恢复、触觉标注和表征统一，从海量原始视频中提取更准确、更具物理意义的训练信号，以高质量数据驱动模型能力进化。

因此，Being-H0.8 补上的不仅是一个具备触觉能力的世界模型，更标志着 Being-H 系列数据路线的一次转向：从验证人类视频能否用，到解决海量视频如何规模化使用，再到深入追问，能从这些视频中提取多少真正有价值的物理经验。

对 BeingBeyond 而言，核心壁垒不再仅是拥有多少视频，而是能否将数据收集、清洗、动作恢复、触觉标注、世界建模与机器人控制衔接为完整链路，持续将原始视频转化为机器人可学习和复用的物理经验。