摘要

视觉-语言-动作(VLA)模型在具身策略学习中实现了强大的语义泛化能力,然而这类模型仅学习从观测到动作的响应式映射,并未显式建模物理世界在干预下的演化规律。越来越多的研究通过将世界模型(环境动态预测模型)集成到动作生成流程中,来弥补这一局限。我们将这一新兴范式命名为世界动作模型(WAMs):统一预测式状态建模与动作生成的具身基础模型,旨在建模未来状态与动作的联合分布,而非仅建模动作分布。

World Action Models 架构与评估综述图解

目前相关研究在架构、学习目标与应用场景上较为零散,缺乏统一的概念框架。本文正式定义了WAM并厘清其与相关概念的边界,追溯催生该范式的VLA与世界模型研究的基础及早期融合工作;将现有方法归纳为级联式与联合式WAM的结构化分类体系,并进一步按生成模态、条件机制与动作解码策略细分;系统分析支撑WAM发展的数据体系,涵盖机器人遥操作、便携式人类演示、仿真数据与互联网规模第一人称视频;梳理围绕视觉保真度、物理常识与动作合理性构建的新兴评估协议。总体而言,本综述首次系统梳理了WAM领域全貌,阐明核心架构范式与权衡关系,指出这一快速发展领域的开放挑战与未来机遇。

1 引言

构建能在非结构化物理环境中感知、推理与执行动作的机器人,一直是具身智能研究的核心目标。近年来,该领域形成了一套强大范式:视觉-语言-动作(VLA)模型,将预训练视觉-语言主干网络复用为通用机器人策略。通过在互联网规模视觉与语言表征之上,将动作生成为条件token预测任务,RT-2、OpenVLA、 π0\pi_0 等VLA模型展现出惊人的泛化能力——遵循全新语言指令、操作未见过的物体、在不同机器人形态间迁移且仅需少量微调。这些成果证明,大规模视觉-语言预训练积累的语义理解能力可有效落地到运动行为,相比早期任务专用控制器实现了质的飞跃。后续大量基于该范式的研究,已让VLA模型成为通用具身策略学习的主流方案。

然而,标准VLA模型未显式建模世界动态:它们仅学习观测到动作的直接映射,不预测环境在干预下的变化。这种预测式物理推理能力的缺失,限制了模型泛化性,而预测未来状态对这类任务至关重要。因此,为具身策略模型赋予世界建模能力成为自然发展方向。近期越来越多研究开始将世界模型集成到具身策略流程中,这些方法利用环境动态预测模型,为智能体提供物理预见能力——无论是通过视频预测实现视觉规划、利用隐式动态建模为策略提供条件,还是在统一架构中联合生成状态与动作。这一新兴方向快速发展,形成了多样且不断扩张的方法体系。

我们将这类方法正式命名为世界动作模型(WAMs):统一环境动态建模(世界建模)与运动控制(动作生成)的具身基础模型,建模目标为未来状态与动作的联合分布 p(o′,a∣o,l)p(o', a | o, l),而非仅动作分布。现有WAM方法可大致分为两类架构:

  1. 级联式WAM:显式分解优化目标,形式化为 p(o′,a∣o,l)=p(a∣o′,o,l)p(o′∣o,l)p(o', a | o, l)=p(a | o', o, l) p(o' | o, l),先合成预期未来状态表征,再据此推导动作;
  2. 联合式WAM:直接建模联合分布 p(o′,a∣o,l)p(o', a | o, l),状态预测与动作生成在共享表征空间内协同优化。

世界建模的集成带来了更强的物理理解能力、更优的新环境泛化性,以及利用无动作标注的大规模人类视频数据的能力,大幅拓展了具身策略学习的数据基础。

本综述首次对世界动作模型(WAM)领域展开系统且批判性的分析,旨在为理解该领域设计空间提供概念框架,为进入这一快速发展领域的研究者提供实践指南。综述结构如下:

World Action Models 架构与评估综述图解

  • 定义(第2节):正式定义世界动作模型,厘清其与相关概念(视频策略、条件动作世界模型、标准VLA模型)的边界,梳理当前零散文献的术语规范;
  • 背景(第3节):追溯从经典基于模型的强化学习到现代基础模型方法中,世界建模与动作生成的交织发展历程,定位WAM的学术脉络;
  • 架构(第4节):将现有WAM方法分为级联式与联合式范式,进一步按生成模态、条件机制、动作解码策略细分,构建跨方法对比的统一框架;
  • 训练数据集(第5节):分析支撑WAM发展的四大核心数据源——机器人遥操作、便携式人类演示、仿真数据、互联网规模第一人称视频,探讨各数据源特性对模型能力的影响;
  • 评估(第6节):梳理围绕视觉保真度、物理常识、动作合理性构建的新兴评估体系,指出当前协议无法评估WAM核心能力的短板;
  • 开放挑战(第7节):总结该领域核心难题与未来方向,指明迈向更鲁棒、更通用世界动作模型的路径。

2 定义与形式化

为给世界动作模型(WAMs)建立严谨基础,我们从概率视角定义具身智能任务。考虑一个与环境交互的具身智能体,每个时间步,智能体接收观测 o∈Oo \in O (包含视觉输入、本体感受信号及其他传感模态)、语言指令 l∈Ll \in L,并生成动作 a∈Aa \in A。用 o′o' 表示下一时刻的观测。

2.1 基础范式

视觉-语言-动作(VLA)模型:将机器人控制建模为多模态序列建模任务的具身基础模型。该范式中,智能体处理当前观测 oo 与语言指令 ll,生成动作token序列 aa。VLA架构通常利用大型语言模型(LLM)或视觉语言模型(VLM)的预训练语义隐空间,将感知输入直接映射到动作空间。形式化定义为,给定多模态上下文,动作的条件概率:

LVLA=E(o,l,a)∼D[−logp(a∣o,l)]\mathcal{L}_{VLA}=\mathbb{E}_{(o,l,a)\sim \mathcal{D}}[-log p(a| o,l)]

世界模型(WM):内化物理环境因果动态的预测式转移函数,功能是建模世界前向动态,模拟环境在先前状态 oo 与假设干预动作 aa 下的观测状态 o′o' 演化过程,形式化为:

LWM=E(o,a,o′)∼D[−logp(o′∣o,a)]\mathcal{L}_{WM}=\mathbb{E}_{\left( o,a,o^{\prime }\right) \sim \mathcal{D}}\left[ -log p(o^{\prime }| o,a)\right]

该模型作为状态概率传播器,表征环境对特定动作的响应变化。

世界动作模型(WAMs):统一环境动态建模(世界建模)与运动控制(动作生成)的具身基础模型。与仅学习观测到动作直接映射的标准VLA模型不同,WAM预测物理环境的未来演化。形式上,WAM需满足两个核心准则:

  1. 前向预测建模:模型需通过生成或量化未来状态 o′o' 表征,预测环境物理演化,可表现为显式视觉预测(如像素级视频帧、稠密光流)或隐式物理表征(如基于物理的隐空间);
  2. 耦合动作生成:模型需严格依据预期未来状态 o′o' 推导运动指令 aa,这种耦合可表现为联合概率输出,或级联/统一隐式架构中的策略条件化。

形式化上,WAM在统一框架中刻画未来状态与动作的联合或条件分布:

LWAM=E(o,l,o′,a)∼D[−logp(o′,a∣o,l)]\mathcal{L}_{WAM }=\mathbb{E}_{\left(o, l, o', a\right) \sim \mathcal{D}}\left[-log p\left(o', a | o, l\right)\right]

从观测到动作的映射转向联合状态-动作预测,WAM借助丰富的时空先验实现更深入的物理理解与更强的零样本泛化能力。

2.2 概念厘清:WAM与相关概念

World Action Models 架构与评估综述图解

为保证概念清晰,我们区分世界动作模型(WAMs)与生成式机器人领域若干相关概念:

  1. 视频动作模型(VAMs):通常指集成视频预测与动作生成、将动作与合成视觉未来对齐的模型。我们定义WAM为模态无关的广义预测智能体超集,VAM专为动作与视频帧合成对齐优化,而WAM范式认为视频仅是建模世界的一种可行代理。WAM涵盖使用其他预测目标的模型(如单图像状态转移、稠密点云、触觉/力反馈等多传感模态)。“世界”一词强调模型内化底层物理规律与因果动态,而非局限于像素级视频格式。
  2. 视频策略(Video Policies):定义源于结构传承——使用生成式视频架构(如扩散Transformer)为主干,提取强时空表征。与WAM的区别源于结构传承与预测承诺两个维度:其一,与WAM/VAM区分一致,视频策略概念上绑定视频生成主干(如视频扩散Transformer),而WAM与主干架构无关,可通过任意多模态状态合成架构实现;其二,视频策略仅需继承视频模型预训练时空表征,完成观测到动作映射( p(a∣o)p(a | o))即可,而WAM必须具备主动预测承诺,将下一状态 o′o' 合成作为模型推理与输出的显式组件,而非仅作为主干内隐式特征。
  3. 动作世界模型(AWM):早期文献中描述集成世界建模与动作生成( p(o′,a∣o,l)p(o', a | o, l))的模型,功能与WAM相近。选用WAM而非AWM,反映具身智能层级的战略转变:“AWM”的核心名词是“世界模型”,将系统定义为增强型模拟器;“世界动作模型”将系统重新定位为智能体主体类别,“世界”(预测物理)与“动作”(运动控制)为平等核心组件。这一命名确立WAM为VLA范式的直接概念继承者,强调其作为机器人完整基础模型的定位。

3 VLA模型与世界模型:基础与早期融合

3.1 视觉-语言-动作(VLA)模型

传统模仿学习常受限于窄域任务专用设计,模型仅针对孤立技能训练,严重限制开放环境泛化性。为解决这一问题,领域转向语言条件策略,解析多模态任务描述并计算控制动作。早期VLA架构主要探索三种视觉-语言输入融合范式:

  1. 特征调制:基于FiLM层,用语言嵌入调节视觉特征;
  2. 交叉注意力机制:实现任务提示与视觉token的动态交互;
  3. 简单拼接:将多模态token展平为统一序列联合处理。

这些工作验证了开放词汇操作的可行性,提出Action Chunking与时间集成等关键技术,提升运动平滑度与时间一致性。

LLM的成功推动第二轮VLA研究,强调知识先验与大规模缩放。通过继承预训练大型视觉语言模型(LVLM)权重,智能体借助互联网数据实现复杂推理与语义理解。方法上,这一阶段呈现两条并行动作生成路径:

  • 自回归token化:将动作视为离散语言token,序列生成;
  • 基于扩散的合成:在VLM主干上附加生成式Action Expert,生成连续多模态动作分布。

这种双重设计让模型平衡高层逻辑规划与低层物理精度,从单臂任务扩展到复杂双手操作。

超越传统图像到动作流程,VLA定义近期拓展为融合更丰富的具身观测。为增强模型在物理世界的感知与交互能力,研究者开始整合多源信息,包括3D几何信息、深度感知、力/触觉反馈,推动VLA模型从简单“视觉-语言”驱动系统,演进为全面“多模态物理交互”基础模型。但这些模型仍基于响应式映射,未捕捉底层世界动态,在操作泛化任务中仍面临挑战。

3.2 世界模型

世界模型的定义长期存在争议,不同研究采用不同定义,共识为:世界模型是建模环境动态与动作效果的内部表征,基于该表征可预测动作后果,实现仿真、决策与规划。按条件模式不同,世界模型分为条件动作世界模型与条件语言世界模型,同时也包含专为具身环境设计的世界模型。

3.2.1 条件动作世界模型

条件动作世界模型描述环境对智能体动作的响应演化,动作指智能体发出的可执行控制信号,直接干预环境并驱动状态随时间转移。给定当前状态与动作,模型预测后续未来状态或观测,捕捉动作对环境动态的因果影响,形式化为:

P(o′∣o,a)P\left(o' | o, a\right)

按环境动态建模与预测的空间,分为显式世界模型(直接预测像素/视频帧等未来观测)与隐式世界模型(在隐式表征空间建模环境动态)。

显式像素级预测早期像素级预测模型直接在像素空间操作,预测未来帧。ACVP设计编码-转换-解码网络架构,是首批基于条件动作做像素级视频长时预测并评估的工作;CDNA提出条件动作视频预测模型,通过显式建模像素运动,从先前帧移动像素合成未来帧;深度视觉预见学习条件动作视频预测模型,通过隐式随机像素流表征视觉动态;SV2P将随机变分隐变量引入视频预测,通过采样隐变量生成多个合理未来帧序列,应对真实世界与条件动作场景下的模糊交互。

随着生成式建模发展,强大的预训练视频生成模型不断涌现,近期大量工作基于这些模型,直接在像素空间预测未来视觉观测,构建基于视频的世界模型,分为自回归视频世界模型与基于扩散的视频世界模型两类:

  • 自回归视频世界模型:将视频帧token化为离散视觉token,训练动态模型,基于过往观测自回归预测未来token。iVideoGPT基于VideoGPT构建可扩展自回归Transformer框架,集成视觉观测、动作、奖励为token序列,通过下一token预测实现智能体-环境交互;Genie进一步研发交互式世界模型,引入隐式动作模型,从无标注视频片段推理动作变量,训练动态模型预测未来视觉token,可从无动作标注的互联网视频训练,大幅提升世界模型训练可扩展性。自回归范式可生成任意长度帧序列,适合交互式世界建模,但存在严重误差累积问题,难以建模高度多模态分布。
  • 基于扩散的视频世界模型:显式建模未来观测的可能分布,通过迭代去噪,将噪声时空信号生成为连贯的条件数据序列,学习条件分布而非单一确定性未来,捕捉多模态环境动态。扩散世界模型将世界建模建模为未来视频帧的条件扩散,通过迭代去噪生成未来观测,缓解分步动态预测的误差累积问题。扩散范式在长时一致性、高质量生成输出任务中表现更优,但计算成本较高。

隐式隐空间动态模型为克服像素级建模低效问题,主流方向聚焦在紧凑隐空间学习动态。隐式动态模型将观测编码为隐状态,在该空间学习转移函数:

  • 循环状态空间模型(RSSM):采用循环架构预测隐式表征随时间演化。PlaNet引入RSSM,结合确定性与随机组件,捕捉可预测动态与不确定性;Plan2Explore代理扩展RSSM框架,在隐空间规划探索,将隐式动态预测器集成的分歧作为内在奖励;Dreamer系列工作进一步扩展,实现完全隐空间规划,提升样本效率;LEXA利用RSSM在隐式想象中训练探索与达成策略,实现无监督目标条件强化学习。
  • Transformer状态空间模型(TSSM):为让世界模型受益于Transformer进展,TransDreamer引入TSSM,利用Transformer预测动态,在建模长时依赖与推理方面优于Dreamer系列。
  • 预测表征学习:不重构观测或建模完整动态,聚焦缺失/未来观测的隐式嵌入学习。JEPA(联合嵌入预测架构)提供通用范式,在抽象嵌入空间学习预测表征,不重构原始输入,学习预测目标嵌入,鼓励模型捕捉高层可预测结构,忽略低层细节;I-JEPA通过同一图像单上下文块预测多目标块隐式表征,学习图像表征;MC-JEPA将该范式扩展为运动感知视觉表征学习,联合学习光流与内容特征;V-JEPA 2进一步将JEPA范式扩展到基于视频的世界建模,预测未来隐式嵌入而非重构像素,学习更抽象、泛化更强的环境表征,大幅降低重构开销;LeWorldModel提出端到端JEPA,从原始像素稳定训练隐式世界模型,用单一高斯分布正则器(SIGReg)替代复杂多正则项目标,防止表征崩塌,实现连续控制任务的高效隐空间规划。

3.2.2 条件语言世界模型

与基于低层控制信号预测未来状态的条件动作世界模型不同,条件语言世界模型使用语言作为更高层、更抽象的条件,不指定精确动作序列,而是提供目标场景、事件、演化过程的语义指导,让模型生成符合文本/多模态指令的未来状态,形式化为:

P(o′∣o,l)P\left(o' | o, l\right)

该范式下,条件语言视频基础模型成为世界模型的主流实现,从大规模视频-文本对中学习,获取物体、场景、物理交互、相机运动、时空动态的丰富先验,可从高层语义描述生成合理视觉未来,为语言指令下的世界演化建模提供自然接口。现有方法沿生成目标、主干架构、隐式表征、缩放策略等关键维度演进,从早期GAN视频生成器,发展到扩散式与Transformer视频基础模型。

早期视频基础模型以GAN为主,如MoCoGAN、TGAN、DVD-GAN;扩散模型出现后,基于扩散的视频基础模型成为主流。早期扩散视频基础模型基于U-Net架构,通过加入专用时间层实现时间一致性;VDM直接将传统2D卷积核扩展为3D核,处理视频序列;Text2Video-Zero、AnimateDiff采用跨帧注意力块,保持物体外观与运动一致性。

后续工作采用Vision Transformer(ViT)作为更灵活的视频扩散主干,Sora、Latte将视频数据视为时空块序列,比固定网格U-Net更高效处理可变分辨率与时长,受益于Transformer可扩展性,常采用因果注意力或时空自注意力建模复杂动态,生成未来帧。

RGB空间像素级扩散去噪计算成本高,LDM采用变分自编码器(VAE)将图像从像素空间压缩到隐空间,在紧凑表征空间执行去噪;VideoGPT利用3D-VQVAE学习视频生成的离散隐式表征,后续工作进一步扩展该范式。

随着视频基础模型设计成熟,大量高性能模型涌现,开源模型如Wan基于扩散Transformer(DiT)范式结合Flow Matching,在视频生成、编辑、实时合成、音视频同步等任务表现优异;闭源模型如OpenAI的Sora 2、快手的Kling 3、Google的Veo 3、Runway的Gen-4、Pika Labs的Pika 2.2,基于互联网数据训练,具备丰富世界知识与强预测能力,可作为强大多模态世界模型。

条件语言与多模态世界模型具备强世界知识先验与语义理解能力,在数据合成、任务规划等应用中潜力巨大。

3.2.3 具身世界模型

具身环境要求模型捕捉物理世界动态,预测世界对智能体交互的响应变化,这种预测未来状态的能力,对具身场景的仿真、规划、数据合成至关重要。世界模型基于观测与动作预测环境演化,为具身环境建模提供自然框架,大量研究聚焦提升世界模型在具身场景的预测精度、物理感知、动态知识,生成更真实的机器人演示,支撑具身智能发展。

互联网规模无标注视频包含丰富物理动态信息,从这类数据学习对预训练具身世界模型至关重要。多项工作实现从人类操作视频或纯视频数据学习物理动态:Genie引入隐式动作模型,以无监督方式从视频片段推理隐式动作,让世界模型可使用纯互联网视频训练;SWIM基于Dreamer架构,从人类操作视频提取抓取点与运动轨迹,缩小人与机器人的形态差异,从人类运动视频学习机器人操作动态;DreamDojo引入连续隐式动作,将帧间运动编码为紧凑向量,实现跨形态动作表征与知识迁移;DexWM从第一人称视频提取3D手部关键点,表征灵巧动作,采用手部一致性损失捕捉精细手指-物体交互,实现真实世界灵巧操作零样本迁移。

为提升具身世界模型生成的机器人演示质量,多项工作从架构设计与数据驱动角度,提升零样本生成、视频-指令对齐、多视角一致性、物理感知能力:RoboDreamer利用自然语言组合性,将视频生成分解为多基础原语的条件控制,构建组合式世界模型,具备强零样本泛化能力,灵活融合多模态指令;IRASim引入帧级动作条件模块,将每个动作向量注入Transformer块的空间注意力层,让机器人动作更精准控制生成视频内容;MiLA采用创新的由粗到精分治策略,结合联合去噪校正流与时间渐进去噪调度,保持多视角空间对齐,缓解长时生成的误差累积与动态畸变;Ctrl-World在空间Transformer内将多相机图像沿token维度拼接,实现全视角联合预测;RoboScape通过自适应关键点动态学习,结合动态关键点采样与轨迹跟踪,提升物理感知建模,采用双分支协同自回归Transformer,协同生成RGB与深度流,增强世界模型的物理感知能力;WoW引入SOPHIA自优化框架,通过视觉-语言评论器评估生成视频,引导提示优化,提升物理合理性与因果一致性,同时引入流-掩码逆动态模型,将预测视觉转移映射为可执行末端执行器动作,闭合想象到动作的循环。

部分工作拓展世界模型能力:VT-WM(视觉-触觉世界模型)引入触觉模态,采用Sparsh-X模型编码触觉信息为触觉token,与视觉token沿空间维度拼接,将触觉融入具身世界模型;PointWorld在3D点流表征下统一环境状态与机器人动作,通过大规模真实与仿真数据训练,构建通用3D世界模型,可泛化到多样机器人操作任务,支持实时推理,直接集成模型预测控制。

3.3 面向VLA的世界模型

世界模型能建模环境在动作、语言指令、多模态上下文下的演化,为超越静态数据集的直接策略学习,增强VLA系统提供关键机制。世界模型让VLA智能体推理未来观测、生成想象轨迹、评估任务结果、测试策略行为,这对机器人学习尤为重要——真实世界数据收集成本高、物理交互存在安全风险、大规模策略评估难以开展。我们从学习与评估两个互补视角,探讨世界模型对VLA的价值:学习层面,世界模型可增强模仿学习、支撑基于模型的强化学习、从预测未来生成奖励信号;评估层面,世界模型作为数据驱动仿真器,实现可扩展、可复现、安全的VLA策略测试。

3.3.1 面向学习的世界模型

World Action Models 架构与评估综述图解

模仿学习(IL):VLA的核心训练范式,通过模仿专家演示学习机器人策略,但效果受限于专家数据的数量与多样性。大量研究利用具身世界模型生成多样训练数据,提升模仿学习性能:DREMA构建组合式操作世界模型,结合以物体为中心的高斯泼溅与物理仿真器,让机器人通过等变变换想象新物体配置,生成多样演示实现模仿学习,在真实机器人实现单样本策略学习;Ctrl-World通过想象合成复杂任务的成功轨迹,用于监督微调(SFT),将 π0.5\pi_{0.5} -DROID策略在下游任务成功率提升44.7%;RoboScape证明,在其合成数据上训练的 π0\pi_0、扩散策略等VLA策略,性能与真实演示训练相当。

强化学习(RL):VLA策略优化的重要范式,但应用受限于真实机器人部署成本高、风险大、奖励函数设计难、仿真到真实迁移困难。世界模型通过预测未来状态建模环境动态,提供结构化环境表征与跨模态转换能力,缓解上述问题,支持安全可扩展的策略学习,无需大量真实交互,实现隐式奖励估计,提升仿真到真实迁移的鲁棒性。因此,世界模型越来越多地用于基于模型的RL策略学习:

  • 世界模型作为替代环境:多项研究将世界模型作为替代环境,支撑RL策略学习。智能体在学习的世界模型内执行想象rollout,预测轨迹通过任务特定奖励函数或rollout级一致性目标计算奖励。Dreamer系列扩展PlaNet的RSSM,从规划扩展到策略学习,验证虚拟环境中基于模型RL的有效性;基于具备像素级生成能力的预训练视频生成式世界模型,多项工作尝试将世界模型作为强化学习环境,将策略生成的动作与当前观测输入世界模型,预测未来观测,基于生成观测训练策略;部分工作利用世界模型生成的轨迹,衡量与目标未来状态的一致性,引导策略学习。
  • 面向奖励建模的世界模型:除作为策略学习仿真器,近期多项工作探索世界模型与奖励建模更直接耦合,从学习的生成式表征或联合建模环境动态推导奖励信号,而非仅依赖外部指定奖励函数。一类工作直接从预训练生成式世界模型推导奖励信号:VIPER利用预训练视频预测模型,评估观测轨迹与成功行为学习动态的兼容性,作为无动作奖励用于RL;Diffusion Reward通过条件视频扩散模型,从专家视频学习的视频生成分布条件熵,推导奖励信号;GenReward利用预训练视频扩散模型,测量智能体观测与生成目标视频的隐式对齐,提供视频级策略学习指导;SRPO利用V-JEPA 2隐空间作为预训练世界表征,塑造奖励,将成功与失败轨迹编码到隐式世界空间,测量行为相似度,为失败rollout分配进度奖励,缓解奖励稀疏性,无需额外专家演示或手动设计奖励函数。另一类工作将奖励预测直接集成到世界模型,如RoboScape-R联合建模未来观测与奖励,让学习的世界模型在想象rollout中生成奖励信号,为RL提供内生奖励机制。

3.3.2 面向评估的世界模型

在物理系统评估机器人策略耗时、耗资源、不安全且不可复现,常用替代方案是在IsaacGym、MuJoCo等手动设计仿真器中评估,但这些仿真器难以捕捉真实环境的复杂性与多样性,存在显著仿真-真实差距。

世界模型直接从数据学习环境动态,构建数据驱动仿真环境,更真实反映真实世界复杂度与多样性,减少对昂贵、不安全物理评估的依赖,支持全虚拟环境大规模策略测试;同时具备闭环rollout能力,提供一致可复现的评估协议,缓解真实实验的不可复现问题;通过将仿真落地到真实数据分布,更好弥合仿真-真实差距,部署前更可靠评估策略性能。通用方法是在想象环境中rollout策略,预测后果:Ctrl-World通过帧级动作条件,将动作信号注入每一帧,支持策略与仿真器的闭环交互,实现策略评估;Veo Robotics利用条件动作视频生成模型作为世界仿真器,无需真实执行评估机器人策略,同时利用生成式图像编辑合成分布外场景,测试泛化性,模拟安全关键场景做红队测试,所有预测均通过大量真实实验验证;交互式世界仿真器构建实时遥操作接口,支持用户与世界仿真器交互,提供更全面的仿真环境;多项类似工作进一步提升评估质量、效率与灵活性。

4 架构

前文将世界模型作为策略训练与评估的外部工具(仿真环境、奖励模型、鲁棒基准),近期研究进展转向将世界建模直接集成到策略架构。这一转变让世界模型从离线监督者变为内部预测核心,让世界动作模型(WAMs)实时推理世界动态。我们根据结构流程与对应训练机制,将WAM架构分为两大类:

  1. 级联式WAM(第4.1节):采用串行流程,先预测下一状态(像素、隐式、流空间),再推导对应动作。因结构解耦,世界模型与动作解码器作为独立模块分别优化;
  2. 联合式WAM(第4.2节):在单一紧凑模型中统一预测式状态建模与动作生成,同时输出未来状态与动作。该范式下,世界建模与动作生成在统一目标下联合训练,迫使模型内化环境动态与控制信号的因果依赖关系。

4.1 级联式世界动作模型

级联式世界动作模型通过串行两阶段流程实现世界-动作映射:世界模型先合成代表预期未来的视觉规划,独立动作模型从该规划解码可执行机器人指令。这种分解提供自然归纳偏置——世界模型无需推理机器人运动学,动作模型无需解决长时场景预测,但也引入两级耦合,影响该系列所有设计决策。根据中间规划载体类型,级联式WAM分为两大类:

  1. 显式规划(第4.1.1节):基于像素空间表征;
  2. 隐式规划(第4.1.2节):基于隐式表征。

World Action Models 架构与评估综述图解

4.1.1 基于像素空间表征的显式规划

级联式WAM最直接的实现方式,采用原始像素帧作为两级间的中间表征。像素空间规划可直接解释,充分利用互联网数据预训练的大型视频生成模型表征能力,是自然的起步方案。该领域工作按后续从合成视频提取动作的方式,分为学习型动作提取与几何计算提取两类。

学习型动作提取UniPi确立基础两阶段框架:条件文本时空U-Net扩散模型合成任务执行视频,卷积逆动态模型(IDM)回归连续帧对的动作。尽管验证了闭环可行性,但单遍长时生成存在语义漂移与复合误差问题。后续工作从互补角度解决:VLP引入语义级干预,为流水线配备视觉语言模型(VLM),实现分层子动作生成与树搜索价值评分,将误差累积限制在单个片段;RoboEnvision采用非自回归策略,通过VLM分解子任务指令,条件生成代表子任务终止状态的关键帧,通过插值合成完整视频。

并行研究聚焦可控性与生成效率:This&That通过联合条件指示表达(“this”/“that”)与配对手势坐标,解决纯语言在多同类物体场景的接地模糊性,无歧义传递操作意图;Say, Dream, and Act从另一方向提升效率,采用对抗蒸馏减少去噪步数,引入帧率无关视频预测机制,解耦轨迹规划与固定执行频率,支持可变长时域统一预测。

规划表征的空间表达能力扩展到标准RGB视频之外:TesserAct为视频预测目标增加深度与表面法向量通道,为规划载体引入显式几何约束,为下游动作提取提供更丰富线索;MVISTA-4D完全替代传统IDM,采用轨迹级隐式优化与残差IDM精炼两步机制,缓解每步动作提取的病态问题。

跨机器人形态与数据源的扩展推动更多研究:Vidar基于扩散视频基础模型,将人类操作视频转换为机器人执行视频,通过编码机器人类型、相机布局、任务指令、场景上下文作为全局生成条件,采用掩码预测聚焦交互关键区域,统一建模双手机器人;Gen2Act进一步实现跨形态通用操作,零样本调用预训练VideoPoet模型生成人类操作视频,无需微调,用点跟踪作为辅助损失的闭环神经策略替代硬编码几何提取规则;Veo-Act通过门控机制解决基础视频模型在接触密集阶段的精度差距:多头IDM从Veo-3生成视频提取动作,用于粗导航,在线交互检测器检测到即将接触时,切换为响应式VLA策略控制。

部分工作替代专用IDM,采用其他解码器:VAG采用1D U-Net作为动作解码器,视频扩散分支完成完整去噪到像素空间,视频U-Net中间特征条件化独立动作U-Net; π0.7\pi_{0.7} 用预训练VLA替代第二阶段IDM,基于BAGEL的世界模型生成期望近未来状态的多视角子目标图像,与语言、片段元数据一同注入VLA上下文窗口,VLA的流匹配动作专家基于该想象未来生成动作块,将泛化压力从逆动态学习转移到VLA的预训练上下文理解,实现强开箱即用与跨形态零样本性能,无需任务特定微调。

几何动作提取并行工作用结构化中间表征的几何计算替代学习型IDM,将动作提取问题从逆动态学习转为解析可解的几何问题,按运动表征为光流或跟踪物体姿态分为两类。

光流作为中间表征由AVDC引入,完全分离视频合成与动作提取:条件文本扩散模型生成完整像素级视频,计算稠密光流,解析推导SE(3)变换,训练无需动作标注;Im2Flow2Act将流估计转移到隐空间,基于AnimateDiff流生成网络绕过像素级视频合成,独立训练的流条件策略直接将流场映射为动作,牺牲像素级外观信息换取计算效率;3DFlowAction将表征从2D提升到3D,通过视频扩散生成稠密3D流场,捕捉平面流无法获取的旋转与深度位移运动分量;NovaFlow、Dream2Flow推动范式向零训练演进,直接使用预训练视频生成模型,通过深度估计与点跟踪推导3D物体级流,转换为机器人命令,无需演示数据或额外训练。

姿态跟踪是第二条几何提取路径:Dreamitate以工具作为人与机器人动作的连接代理,基于人类工具使用演示微调的立体视频扩散模型,条件立体场景图像生成任务执行视频,MegaPose逐帧跟踪工具6-DoF姿态,立体几何约束深度估计,逆运动学将轨迹映射为关节命令,让动作提取完全独立于机器人形态;4DGen扩展到多视角一致生成,基于SVD骨干,从双视角RGB-D条件联合预测RGB视频与3D点图序列;RIGVid用FoundationPose跟踪被操作物体而非工具,用轨迹重定向替代逆运动学,用VLM过滤质量的零样本扩散生成视频替代人类演示视频;LVP从生成的人类操作视频重建3D手部姿态,通过运动学映射转换为末端执行器轨迹,采用扩散强制(将视频分为低噪声历史与高噪声未来段,因果掩码)提升生成时间一致性。

World Action Models 架构与评估综述图解

4.1.2 基于隐式表征的隐式规划

像素级视频合成的计算开销是实时部署的主要瓶颈。隐式规划路径的动机是:扩散过程中的中间隐式表征已编码规划所需动态信息,无需解码回像素空间。规划载体替换为隐式特征序列,全程保留在压缩表征空间。

VPP直接验证该权衡:预训练VAE编码观测帧,扩散模型单步预测未来隐式序列,轻量策略网络基于这些隐式生成动作,首次实现该框架下兼容实时控制的规划推理速度;VILP在同一范式引入多视角隐式规划,从双同步视角生成完整隐式视频序列,独立训练的状态策略网络恢复动作;S-VAM直接解决VPP单步推理的生成质量损失,通过自蒸馏平衡效率与保真度:训练时,冻结多步SVD骨干提供结构化教师表征,监督轻量时空解耦器,将迭代生成压缩为单次前向传播;推理时,一步特征通过QFormer式感知器聚合,条件化基于DiT的扩散策略,在实时控制频率下恢复高质量规划。

Video Policy第一阶段使用显式像素视频,开创关键隐式提取技术:微调SVD用于视频预测后,冻结所有视频U-Net权重,训练独立动作U-Net,基于视频解码器中间特征生成动作序列,确立特征级条件作为像素/流输入的替代方案;ARDuP训练时从Co-Tracker稠密运动点跟踪与SAM生成交互区域掩码获取伪监督,将生成的主动区域建议作为条件注入视频扩散模型,让生成聚焦任务相关区域;mimic-video用流匹配替代DDPM,采用部分去噪策略,在ODE积分中间检查点提取特征,绕过完整生成路径,提升生成效率;MWM用未来语义掩码隐式替代RGB预测,缓存冻结掩码预测骨干的隐藏状态,条件化动作扩散头,该几何信息瓶颈有效过滤光度干扰,在严重视觉变化下实现高鲁棒控制。

OmniVTA将隐式隐式规划扩展到视觉-触觉领域,双分支扩散Transformer联合生成未来视觉与触觉隐式,下游融合策略通过差分编码器消耗预测触觉隐式,捕捉预测与当前接触状态差异,实现接触密集操作中未见过物体的强泛化性。

LAPA提出无监督隐式动作预训练框架:基于VQ-VAE的隐式动作模型,以自监督方式从无标注视频学习“状态-隐式动作”先验,下游微调仅需少量真实动作标注映射到实际关节动作,大幅降低标注需求;villa-X从两方面推进隐式动作建模:其一,引入本体感受前向动态模型(proprio-FDM),通过视觉重构与本体感受预测损失联合优化,将隐式动作落地到物理动态;其二,提出包含隐式动作专家与机器人动作专家的联合扩散框架,隐式动作显式条件化低层动作生成,实现更结构化知识迁移。

4.2 联合式世界动作模型

联合式世界动作模型指在单一统一模型中预测未来世界状态与动作,训练时世界建模与动作生成作为联合监督目标。联合架构的核心设计问题是:世界状态与动作生成如何在共享预测系统内耦合。按世界-动作预测的实现基础,现有联合世界动作模型分为两大类:

  1. 自回归生成(第4.2.1节):将未来世界变量与动作变量序列化到token空间,通过自回归预测建模;
  2. 基于扩散的非自回归生成(第4.2.2节):通过扩散/流匹配生成式过程生成未来观测、隐式世界状态或动作轨迹,在连续隐空间或并行去噪流中实现两者联合精炼。

4.2.1 自回归生成的联合预测

自回归生成指依赖因果从左到右序列解码,参数化未来状态与控制信号的联合世界动作模型分支。这类架构将异构变量序列化为统一时间序列,世界与动作的联合分布按序分解。这种基础生成机制确保早期预测因果条件化后续步骤。

尽管共享因果序列建模统一架构,但将控制与视频生成为严格从左到右预测问题,带来显著架构张力,核心挑战是缓解灾难性误差传播(早期视觉幻觉引发后续动作失败),同时平衡序列解码的计算瓶颈与实时机器人执行的低延迟需求。

该分支按目标表征与输出接口演进,分为三类:

  1. 显式解耦表征:模态保持异构格式,通过结构分离输出头解码;
  2. 统一离散表征:模态完全量化为同质token空间,共享预测头控制;
  3. 预测隐式表征:放弃显式token生成,在抽象连续隐空间自回归。

显式解耦表征早期自回归联合预测方法在表征层面保持严格模态分离,不强制连续物理动态与高维视觉状态进入单一共享词汇表,核心设计原则是表征解耦:依赖显式注入控制token(如[ACT]、[OBS]),将交错序列特征路由到结构分离、任务专用输出头,通常配对连续动作解码器与离散视觉块回归分支。

GR-1确立该范式,证明视频重建预训练的Transformer可通过双分支头,同时解码未来视觉块与连续动作,强制模型预测未来视觉事件,内部视频预测为动作生成提供强正则化;纯视觉rollout较脆弱,GR-MG将世界rollout过程解耦为宏/微步层级,引入[PROG] token,基于扩散生成视觉目标条件化策略,即使中间像素预测失败,语言模态仍能指导执行;GR-2扩展基础概念,采用VQGAN token转向完全离散视觉流程,将视觉rollout作为隐式规划器,耦合离散视觉预见与CVAE参数化的连续动作分块。尽管多头部方法验证自回归联合预测可行性,但依赖分离分支带来显著延迟瓶颈,限制跨模态接地深度。

统一离散表征通用视觉-语言基础模型缩放后,表征焦点从解耦路由转向同质token空间深度集成。该范式完全消除物理与视觉模态的异构性:连续动作与高维图像完全量化,映射到单一共享LLM词汇表,物理动态与视觉状态表示为统一离散符号,由同一下一token预测头生成。该类主要挑战转为设计注意力与路由机制,缓解自回归采样长串无接地动作token的严重复合误差。

研究者提出不同注意力与路由机制解决复合误差:CoT-VLA采用混合注意力路由,分裂注意力机制,先通过因果注意力自回归生成离散视觉思维链(CoT),再切换全注意力机制,同步预测到达生成视觉状态所需动作序列;WorldVLA依赖模态特定因果掩码,严格通过交错提示模板操作,修改策略rollout的标准因果掩码,显式禁止当前动作token关注同一块内先前生成动作,强制局部预测完全基于历史视觉与语言上下文。

RynnVLA-002为缓解纯离散控制的高方差,在离散MLLM主干附加轻量连续动作Transformer头,并行解码连续动作块,保留统一世界建模;ℱ¹采用混合Transformer(MoT)框架解耦预测路径,引入生成专家通过尺度预测自回归生成离散VQ token,动作专家通过渐进注意力,从幻觉视觉预见直接推导控制信号,将动作生成重构为预见引导的逆动态问题。

预测隐式表征自回归显式视觉token或解耦块可解释性强,但计算开销极大,易陷入“像素匹配捷径”——模型消耗容量重构无用背景变化,而非学习可执行转移物理。为规避该问题,预测隐式表征将表征基础完全从显式像素转向抽象连续隐式嵌入。

该范式的典型代表是**联合嵌入预测架构(JEPA)**系列,VLA-JEPA严格在该高层隐空间落地联合序列建模,提取连续隐式动作token,条件化引导自回归世界模型,预测冻结目标网络编码的未来表征。因未来帧仅作为独立监督目标,架构保持无结构泄漏,物理执行通过条件化流匹配头的具身动作token,连接抽象转移知识。用隐式转移对齐替代显式视频合成,本质优先语义抽象与鲁棒性,而非像素级重构。 World Action Models 架构与评估综述图解

4.2.2 基于扩散生成的联合预测

基于扩散的生成是联合世界-动作建模的重要技术路径,通过多步生成式过程捕捉未来状态复杂分布。借助扩散、连续流匹配等生成框架,架构在多步时域同步生成未来世界状态与动作序列,从根本上克服自回归建模的序列瓶颈,支持闭环控制所需高频执行。

World Action Models 架构与评估综述图解

为系统刻画多样化扩散联合模型景观,按预测流的结构耦合分类:

  1. 单流架构:将世界与动作变量集成到单一同质预测主干(如单个DiT),世界建模与动作生成在共享隐空间作为联合去噪任务,通过统一注意力机制实现最紧密同步;
  2. 多流架构:生成分布在协调分支或模态特定专家,世界与动作分支通过显式耦合机制(交叉注意力、隐藏状态条件化、共享编码器)交互,主干层面的区别是理解世界与动作分支如何结构融合的核心轴。

单流架构该类结构将世界与动作变量的并行生成吸收到统一主干(通常为单个扩散Transformer),世界与动作相关变量在同一主 trunk 处理,方法差异主要体现在预测目标形式、辅助token/前缀组织、附加条件信息注入方式,而非显式多分支分解。进一步分为显式未来预测与隐式未来预测两类。

  • 显式未来预测:将未来观测或显式隐式代理作为模型直接预测目标,世界建模通过显式生成未来图像或其他模态目标实现,未来状态预测是训练全程主要去噪目标。方法差异主要体现在未来目标形式与训练/rollout组织方式。

最直接的实例联合去噪未来图像隐式与动作token拼接序列:PAD编码多模态输入(RGB图像、机器人姿态、深度)为统一隐式序列,在共享去噪目标下联合预测未来帧与动作块,从零训练,预训练时通过扩展token序列、应用注意力掩码融入无动作互联网视频数据,消融实验证明移除未来图像预测或视频协同训练均降低控制性能,验证显式世界建模监督对动作训练质量与推理性能的贡献;VideoVLA共享相同联合去噪结构,但起点不同:复用预训练CogVideoX-5B视频扩散主干,将未来视频隐式与7-DoF动作块作为联合去噪目标序列,条件化当前帧与语言指令,基于预训练视频模型无需无动作协同训练,主干已编码丰富视觉动态。

UWM引入更灵活设计,在单一共享Transformer内为世界与动作变量分配独立可控噪声水平,解耦扩散调度,测试时独立控制两侧噪声水平,单一模型可切换为策略推理、前向动态预测、逆动态、纯视频生成等不同操作模式,无需架构切换,同时优雅解决无动作视频数据问题:缺失动作侧完全噪声化,应用标准去噪目标。

Cosmos Policy在UWM基础上拓宽联合预测内容,基于Cosmos-Predict2视频骨干,引入隐式帧注入:本体感受、动作块、未来状态、预测值函数编码为隐式帧,与图像隐式交错插入同一去噪序列,该 formulation 让单一检查点同时作为策略、世界模型、值函数,推理时切换为自回归解码,实现基于N最优采样的规划。 DreamZero是该设计的典型实例,直接基于预训练Wan2.1图像转视频骨干,仅轻量添加状态/动作编码器与动作解码器,在共享目标下联合去噪视频隐式与动作隐式,为保持闭环条件化且不累积生成视觉漂移,每执行一块动作后,用真实观测替换想象未来帧;为将推理延迟降至实时控制范围,引入异步执行、DiT缓存、量化、CUDA图编译等系统级优化;GigaWorld-Policy采用相同架构设计,但调整动作生成注意力,仅关注历史与当前观测,而非想象未来帧,推理时无需生成未来视频,进一步加速;X-WAM扩展预测目标,将最终DiT块复制为交错深度分支,实现显式RGB-D联合建模,不破坏预训练视觉先验,采用异步噪声采样对齐训练与测试噪声调度,实现高效动作调度。

其他工作探索离散扩散作为连续去噪的替代方案,用于联合未来生成:UD-VLA通过统一离散token空间的迭代掩码-预测步骤,联合去噪未来图像token与动作token。

  • 隐式未来预测:通过未来状态的隐式表征融入未来世界监督,而非显式生成未来观测。该类策略仍使用单一动作生成主干,但通过辅助未来token或未来前缀引入未来信息,中间表征与冻结教师编码器编码的未来观测嵌入对齐,监督目标不是重构未来帧/视频序列,而是隐式层面学习的紧凑未来表征。相比显式未来预测组,这些方法将世界建模作为内部预测约束纳入策略网络,而非附加生成输出,推理时保留直接动作生成接口。

FLARE确立核心设计:可学习未来token附加到动作token序列,通过同一DiT传播,内部层中未来token激活经MLP投影,监督匹配冻结教师编码器编码的真实未来观测视觉嵌入,强制策略内部表征预判动作执行后的世界状态,该对齐损失自然扩展到无动作视频数据,单独应用无需动作目标,让策略从纯视频演示学习隐式世界动态;FRAPPE将该方法发展为后训练方案,在冻结RDT主干引入多对齐专家,混合前缀与LoRA公式为每个专家分配不同教师表征,轻量路由聚合输出,为稳定多专家训练,先将全参数对齐到单一蒸馏教师,再扩展到并行参数高效设置,证明隐式对齐可通过分阶段训练模块化组合,无需从头联合训练。

多流架构

第二类将世界-动作耦合置于持久架构分解层面,世界建模与动作生成不再吸收到单一同质预测主干,联合预测计算分布在多个协调分支、流、专家或共享编码器-分离解码器组件,交互需架构指定。按主导耦合接口分为三类:

  1. 交叉注意力耦合;
  2. 隐藏状态耦合;
  3. 共享表征。
  • 交叉注意力耦合:世界建模与动作生成分配到两个结构独立分支(视频DiT与动作DiT),通过显式交叉注意力实现耦合,与单DiT方法共享同一DiT块不同,交互是显式架构设计对象:每个分支保持独立生成路径,同时通过专用注意力机制持续交换信息。

多项工作实例化该双分支模式,探索耦合机制与世界表征的不同设计:CoVAR引入专用桥接注意力模块,拼接视频与动作特征,执行联合注意力,拆分回独立流,视频与动作分支保持结构分离,生成期间持续交换信息;LDA-1B采用不同路线:不使用专用耦合模块,将两种模态吸收到共享MM-DiT注意力层,模态特定投影,两个流表征保持独立但在共享自注意力内交互,世界表征在结构化DINO隐空间预测未来状态,而非视频VAE隐式,监督按数据质量分层:高质量轨迹用于策略与动态,低质量用于动态与预测,无动作视频用于预测,为支持单一架构内不同模式,引入可学习任务嵌入与模态特定注册token,同一主干无需修改网络拓扑,切换为策略、动态、预测任务;DUST采用相似MM-DiT结构,但发现进一步自由度:两种模态无需共享相同生成动态,用独立噪声时间步扰动世界与动作,联合目标内独立流匹配损失优化,推理异步采样,解耦去噪轨迹,保持每块内跨模态耦合。

后续工作收敛到混合Transformer作为统一耦合基础,世界与动作隐式通过模态特定DiT路径处理,通过共享注意力交互,设计问题从耦合两流转为耦合系统提供附加能力:LingBot-VA聚焦rollout步骤间的时间接地,将视频隐式与动作token交错为自回归序列,为MoT配对KV缓存,累积块间完整交错历史,保持持续闭环执行的因果一致性,部署流水线引入异步预测与执行,结合反馈接地前向动态更新,新接收真实观测可纳入,再预测下一块;DexWorldModel遵循相同自回归MoT结构,但解决内存成本,用双状态TTT内存替代增长KV缓存,分离长期观测与短期预测隐式,将世界表征从RGB转为DINOv3语义特征,降低对任务无关视觉变化的敏感度;AIM关注两分支接口,意图因果注意力掩码禁止动作token直接关注未来RGB token,未来信息仅通过预测值映射传递到动作头,定位任务相关接触与放置区域;Being-H0.7解决联合预测固有的训练-推理不对称:训练时世界分支显式生成未来表征,通过对齐损失蒸馏为隐式查询;推理时丢弃世界分支,仅保留隐式查询,大幅降低推理成本,保持竞争力性能。

双流MoT公式自然扩展:不只是耦合世界与动作,可引入额外模态专家到共享注意力,让MoT成为更通用多专家协调框架。Motus实例化该设计,添加从预训练VLM派生的语义理解专家,世界、动作、语义理解分支通过三模态联合注意力交互,UniDiffuser式调度器为每个模态分配独立噪声水平,统一架构可在单一主干内操作VLA、世界模型、逆动态等多种功能模式;MotuBrain进一步强化语言分支,文本token显式参与多模态注意力,而非作为外部条件信号,为平衡耦合强度与效率,仅中间层应用全联合注意力,外层保持部分解耦H桥结构,支持多视角输入,在共享空间坐标分配视角依赖3D RoPE偏移;AdaWorldPolicy引入力预测器作为第三专家,将附加分支从语义接地转为物理交互建模,三个专家均为基于预训练Cosmos-Predict2主干的流匹配DiT,通过多模态自注意力连接,训练交替动作生成与未来想象模式,部署时想象与观测状态、力读数的差异作为LoRA在线自适应的自监督信号。

  • 隐藏状态耦合:第二多DiT模式通过从一个分支传递到另一分支的中间表征,耦合世界建模与动作生成。该类两个组件仍分配到独立主干,但核心交互不再是跨分支重复交叉交换的持续协同生成,而是世界分支生成含时间信息的内部表征(想象隐式轨迹、多尺度转移特征、去噪隐藏状态),动作分支作为控制预测的条件信号。相比交叉注意力耦合分支,耦合围绕世界模型到动作模型的内部状态传递,而非生成期间并行分支的持续交互。

DiT4DiT通过成对视频DiT-动作DiT架构实例化该设计,动作分支条件化视频分支未来帧去噪期间提取的中间隐藏状态,钩子算子在选定特征提取时间步截取特定Transformer块或跨层聚合的隐藏激活,通过交叉注意力与本体感受状态嵌入、噪声动作令牌传递到动作DiT;为协调两个模块,三时间步设计独立采样视频预测时间步与动作时间步,固定隐藏状态提取时间步稳定条件信号;推理时动作预测同样依赖单一确定性提取步骤,而非完整视频采样循环;Fast-WAM追求相关设计,但以推理效率为首要目标:训练时保留视频分支作为视频DiT-动作DiT MoT内的未来视频流匹配目标,结构化掩码禁止动作token关注未来视频隐式;推理时移除未来视频分支,视频DiT仅单次前向编码当前视觉上下文,隐式世界特征条件化动作去噪,隐藏状态接口作为训练时耦合机制保留,推理成本消除。

WAV通过在隐式未来预测与动作解码间引入显式轨迹-值分支,扩展单向世界到动作接口,视频模块生成隐式未来视觉rollout,值模块通过交叉注意力评估这些rollout,动作解码器条件化视觉rollout特征与值嵌入,推理时该接口转为隐式规划,迭代用最优分数样本更新视频与值噪声分布,动作从值塑造的隐式未来解码,无需外部规划器。

Act2Goal围绕不同目标组织隐藏状态耦合:非提升传递表征的保真度或效率,而是用耦合支持长时目标导向行为,世界分支接收当前观测与目标图像,生成代表向目标视觉进展的中间隐式帧序列;动作分支通过交叉注意力,基于这些想象转移的多尺度时间特征预测动作,核心组件是多尺度时间哈希,将预测视觉状态与动作组织为近-远时间结构:近帧与动作保持密集,用于短时闭环控制;远帧与动作稀疏化,对数递增间距,保持长时目标一致性。除离线联合视觉-动作流匹配目标训练外,Act2Goal进一步支持HER式目标重标记与LoRA微调的无奖励在线提升。

  • 共享表征/统一编码器:另一多DiT模式将世界-动作集成置于共享表征空间或统一编码器,而非持久分支级交互或分支到分支的中间隐藏状态传递。该类视觉观测与动作先融合到公共隐式基底,联合处理,模态特定解码器或输出头后续恢复世界侧与动作侧预测,关键架构区别是在统一表征层面执行联合建模,将模态专用推迟到后续解码阶段。

UVA将历史观测、动作块与掩码未来观测令牌编码到共享Transformer主干,将未来视频与动作信息组织为预测时域的统一隐式,共享隐式令牌随后由两个轻量扩散头解码:视频扩散头逐令牌重构未来观测,动作扩散头聚合每个未来步骤的隐式令牌,预测对应动作块,两个解码路径联合训练但推理时解耦,策略执行可绕过视频生成,直接从共享隐式解码动作;UVA进一步采用掩码训练方案,灵活输入-输出配置,未使用组件替换为可学习掩码令牌,按选定目标应用损失,同一主干无需任务嵌入或模态调度切换,通过掩码不同组件,作为策略模型、视频模型、前向/逆动态模型、策略-规划器组合运行;PhysGen在基于预训练自回归视频骨干(NOVA)的连续自回归框架内,采用相同共享表征逻辑,将观测与动作块token化为帧令牌与动作令牌,拼接为共享物理令牌,通过统一因果Transformer建模联合未来动态,生成令牌通过分离路径解码:帧令牌由继承的视频解token器重构,动作令牌由轻量Action-DiT通过交叉注意力条件化自回归上下文解码;因果掩码方案允许动作令牌单向关注帧令牌,预测未来视觉状态指导动作生成,前瞻多令牌预测在每个自回归步骤并行生成多个未来动作令牌,推理时仅执行第一个。

World Action Models 架构与评估综述图解

5 训练数据

训练鲁棒且通用的世界动作模型(WAMs),根本上受限于具身数据的可用性与质量。与依赖被动爬取互联网文本的大型语言模型不同,WAM需要严格的物理接地,捕捉复杂状态转移、条件动作与直觉物理。更重要的是,WAM的数据需求与传统机器人范式显著不同:标准视觉-语言-动作(VLA)模型严格要求配对 (ot,at)(o_t, a_t) 轨迹,受限于遥操作演示的高成本与稀缺性;纯世界模型依赖无动作 (ot,ot+1)(o_t, o_{t+1}) 互联网视频序列,但缺乏物理控制接地。

World Action Models 架构与评估综述图解

WAM的独特优势在于统一数据消化能力,同时受益于两类数据:利用高质量 (ot,at,ot+1)(o_t, a_t, o_{t+1}) 三元组紧密耦合内部表征,同时具备架构灵活性,通过联合训练策略吸收海量非配对数据(如纯视频学习视觉物理)。因此,构建WAM的数据生态不仅是缩放机器人中心数据,而是策略性混合严格配对演示与无约束观测。

本节全面梳理驱动WAM训练的四大主流数据范式:

  1. 高保真机器人中心遥操作数据(第5.1节):提供精确运动学接地;
  2. 灵活便携式人类演示数据(第5.2节):桥接人类灵巧性与真实世界交互(如UMI数据);
  3. 高可扩展仿真数据(第5.3节):提供无限程序变化与特权空间监督;
  4. 广覆盖人类与第一人称中心数据(第5.4节):提供近乎无限的被动世界动态先验。

通过平衡固有权衡(从机器人中心遥操作的复杂刚性设置,到互联网视频的低成本大规模特性),研究者越来越多地混合使用这些互补数据集,弥合精确低层机器人控制与广泛开放世界泛化的差距。

5.1 机器人中心遥操作数据

遥操作仍是获取具身智能高质量专家轨迹数据最可靠、最主流的范式。该设置下,人类操作员通过远程控制接口操控机器人代理,记录连续传感观测、本体感受状态与对应可执行动作。对WAM训练而言,机器人中心数据集具备不可替代的价值:提供严格对齐、高频动作-状态对,学习精确条件动作物理动态,几乎无仿真-真实差距。随着机器人硬件与学习算法协同发展,数据集构建沿两大战略方向演进:向开放世界多样性缩放、深化感知的物理接地。

5.1.1 向上缩放:形态、多样性与自动增强

第一大方向打破封闭世界假设,大幅提升数据集规模、环境变化与形态覆盖。早期里程碑如QT-Opt、MT-Opt成功验证收集大规模自监督轨迹数据的可行性;同时,RoboNet、MIME等开创性工作迈出跨机器人、跨域泛化的关键第一步。但这些早期收集主要局限于隔离实验室环境与短时原始技能。

为弥合到真实开放世界部署的差距,后续工作刻意聚焦语义多样性与序列推理能力,BridgeData、BC-Z、RT-1、LanguageTable等数据集转向多样家庭场景的语言条件任务,语言指令的纳入对WAM至关重要,为模型提供语义锚点,将视觉状态转移落地到通用人类概念;TACO-RL、RH20T-P等数据集强调长时推理与分层任务分解,迫使模型预测扩展序列的未来状态。

这种缩放趋势最终汇聚为大规模多平台聚合,Open-X Embodiment(OXE)整合22台机器人超100万条轨迹,ARIO、RoboMIND进一步推进该统一策略;同时,DROID等野外大规模收集显著扩展场景多样性,近期UnifoLM-WBT将该范式扩展到高自由度人形机器人(Humanoid)。对WAM而言,这种极端形态多样性是变革性的,迫使世界模型解耦通用物理规律与特定机器人运动学,实现鲁棒跨形态泛化。

关键的是,为绕过手动目标导向遥操作固有的人力与标注瓶颈,该缩放方向越来越多地采用替代数据获取机制:一类是利用非结构化、基于玩耍的数据源,Jaco Play展示无需严格任务定义,收集连续、任务无关交互先验,为WAM提供广泛的物体对任意力响应的探索知识;并行地,生成式与自动增强成为强大缩放引擎,Grasp-Anything等利用视觉基础模型,将抓取数据生成式缩放至百万轨迹级别,Interleave-VLA通过自动图像-文本交错,大幅扩展监督空间;3D领域,UniVoxGen数据集通过大规模合成体素生成,缩放空间推理。通过多机器人聚合、无脚本探索与自动生成结合,该领域建立可持续路径,用近乎无限训练数据填充WAM,绕过人工收集的严格限制。

5.1.2 深化感知:多模态与接触密集接地

与规模扩展并行,第二关键方向解决纯视觉(RGB)感知的部分观测瓶颈。复杂物理环境中,许多状态转移视觉模糊或被遮挡,为捕捉微妙物理交互,近期数据集系统性整合更密集多模态信号。Berkeley UR5、OmniAction引入音频模态,捕捉材料识别与冲击验证必需的声学特征;同时,复杂材料动态建模仍是知名挑战,TOTO等数据集专门关注视觉模糊任务(如倾倒液体、透明物体交互),Cable Routing Dataset、REASSEMBLE聚焦复杂可变形操作与紧公差物理装配。

为进一步对抗遮挡、提升空间理解,越来越强调3D几何,RH20T、Robo360、RoboData等数据集强调密集多视角捕获与校准3D点云对齐,确保策略学习鲁棒物理表征,独立于单一相机角度;近期,前沿 heavily 向高保真触觉反馈与灵巧监督推进,RoboSet强调铰接物体的力约束操作,DexCap捕获与机器人观测空间对齐的精细灵巧人类手部运动;同时,FuSe、AgiBot World集成显式视觉-触觉传感器与动态双手协调。这些多模态数据集对WAM绝对基础,允许模型内化直觉低层物理(如接触扳手、滑动摩擦、质量分布、局部变形),这些无法从2D视觉外观数学推导,弥合高层推理与物理执行的关键差距。

World Action Models 架构与评估综述图解

5.2 便携式人类演示数据(UMI风格)

尽管机器人中心遥操作数据集质量高,但面临持久瓶颈:数据收集成本高、局限于受限实验室环境、形态多样性有限。这些约束限制模型接触WAM必需的广泛无约束世界动态。为克服该问题,研究者重新思考数据收集接口,转向便携式、低成本人类演示范式,桥接结构化机器人遥操作与多样互联网视频。

通用操作接口(UMI)是该方向的里程碑,通过轻量化手持3D打印夹持器结合可穿戴相机,允许非专家用户直接在日常野外环境收集操作轨迹,通过视觉跟踪与重定向,人类演示对齐为机器人可执行动作。

超越基础硬件开发,UMI生态快速演进,扩展收集数据的传感模态与任务复杂度,FastUMI优化流水线,实现可扩展大规模数据集构建;后续扩展系统性增强收集数据,融入主动感知、关键触觉反馈、多视角视觉观测;同时,范式从简单平行爪夹持器扩展,捕获高自由度灵巧操作、全身移动协调。对WAM训练而言,这种演进确保便携式演示数据能提供学习真实世界物理必需的多模态、接触密集、复杂动作轨迹。

因此,UMI风格数据集快速从小型概念验证收集,演进为大规模野外语料库,早期版本主要验证硬件范式,近期工作为通用策略学习提供无与伦比资源。FastUMI-100K将轨迹数推至10万以上,丰富多模态文本标注;RealOmin实现质的飞跃,收集超3000个多样家庭环境的百万规模数据集,捕获丰富本体感受、IMU、触觉信号;同样,Hoi!明确针对跨视角与力感知操作,对WAM学习直觉物理与接触动态至关重要;特别是RDT2等数据集,提供数百真实场景约1万小时演示。

对世界动作模型的发展,这些大规模便携式数据集作为关键桥梁,具备第一人称人类视频的巨大环境与上下文多样性,同时严格配对高频厘米级动作约束。这种独特组合让WAM能在无约束物理环境学习高鲁棒、条件动作状态转移动态,这是传统机器人中心数据集几乎无法获取的能力。

World Action Models 架构与评估综述图解

5.3 仿真数据

仿真提供可扩展、完全可控、确定性的真实世界数据收集替代方案。对世界动作模型(WAMs)训练而言,仿真的根本价值远不止成本降低,物理引擎本质上是精确的计算世界模型。与受严重部分观测、传感噪声影响的真实世界数据集不同,仿真环境提供特权信息——完美深度、精确6D物体姿态、无误差碰撞边界、无遮挡多视角状态。通过仿真数据训练,WAM不仅复制轨迹,而是直接从渲染与物理引擎(如MuJoCo、Isaac Sim、SAPIEN)提炼基础直觉物理规律。这些数据集的演进反映向大规模程序缩放、越来越高保真时空与接触密集监督的过渡。

5.3.1 向上缩放:程序生成与环境复杂度

仿真最直接的优势是绕过遥操作的人力瓶颈,实现数据数量、环境多样性、任务复杂度同步缩放。早期基础框架如ManiSkill2为操作提供统一高性能基准;在此基础上,MimicGen、DexMimicGen等开创性工作证明,最小集人类演示可程序扩展为数万条多样轨迹,覆盖各类任务与双手机器人设置。

随着仿真引擎成熟,近期数据集将这种缩放推至极端,InternData-A1将自动轨迹合成扩展至数百环境超63万条轨迹,SynGrasp-1B利用Isaac Sim、MuJoCo生成前所未有的1000万条抓取轨迹,反映鲁棒预训练必需的海量数据需求;同时,缩放从纯数量扩展到序列与语义复杂度,RoboCasa引入超10万条轨迹、120个真实厨房场景的巨大环境多样性;进一步推进任务复杂度,RoboCerebra强调带密集子任务指令标注的长时操作,QUARD-Auto扩展形态范围,支持四足机器人多任务学习。对WAM而言,长时任务与无限场景变化的自动扩展,对学习稳定、无漂移长步骤状态转移至关重要。

5.3.2 时空动态:3D与4D具身建模

真实世界视频数据的核心局限是2D相机投影与动态遮挡导致3D空间信息丢失,仿真规避该问题,提供精确空间真值。该能力推动专门面向空间与时间世界建模的数据集,TesserAct是该方向的重要里程碑,提供28.5万条对齐RGB、深度、表面法向量视频片段,明确面向4D(3D空间+时间)具身世界建模。

同样,InternData-M1补充大规模轨迹数据,提供完美对齐、密集帧级2D/3D包围盒、分割掩码、显式抓取点;同时,RoboTwin 2.0等框架利用高保真3D资产(如Objaverse)结合 photorealistic 渲染,生成真实世界物体的数字孪生。对WAM而言,这些数据集无价,提供空间密集监督,理解物体几何与3D场景在特定机器人动作下的变换,实现从2D像素预测到真正3D空间动态的飞跃。

5.3.3 接触密集物理:高保真触觉监督

尽管刚体运动学仿真已成熟,模拟接触动态(如摩擦、软体变形、触觉反馈)长期是挑战。但随着WAM寻求掌握接触密集操作,需要显式力与触觉先验。物理引擎近期进展(如NVIDIA FleX)开始解锁该能力。

TLA Dataset是该领域的开创性工作,超越视觉仿真,提供指尖装配任务的对齐触觉-语言-动作对,通过生成合成触觉读数,仿真让WAM建模接触时不可见的亚毫米级力交互。

尽管合成渲染与真实世界观测的视觉差异(仿真-真实差距)仍是持续挑战,但底层物理原理(如重力、动量、不可穿透性)严格一致。通过对纹理、光照、相机参数的广泛域随机化(如SynGrasp-1B、RoboTwin 2.0),这些仿真数据集作为广阔物理 gym,为WAM注入鲁棒物理先验与空间推理能力,大幅减少下游微调所需真实世界数据量。

World Action Models 架构与评估综述图解

5.4 人类与第一人称中心数据

世界动作模型(WAMs)相对传统VLA模型的根本优势,在于内化通用世界动态的能力。传统机器人中心数据集提供精确低层动作执行,但受限于物理机器人的形态约束与高收集成本,提供的无约束真实世界物理长尾知识有限。相反,互联网规模人类与第一人称数据集封装近乎无限的任务、环境、物理交互多样性,作为真实世界先验的巨大仓库,越来越被认为是训练通用WAM的基石。这些资源的演进分为两大关键方向:从原始视觉观测学习被动世界动态、通过人体姿态与本体感受接地提取主动条件动作动态。

5.4.1 被动世界建模:动作语义与视觉动态

大量完全无显式本体感受信号的大规模视频数据集,在教授WAM被动直觉物理规律方面发挥关键作用。早期基础工作聚焦拆解短时交互的物理常识,如SSv2提供超10万条剪辑,捕捉基础物理事件(推、掉落、撕裂),迫使模型学习时间推理与基础状态转移;转向无脚本第一人称感知,EPIC-KITCHENS提供55小时长时日常活动,EGTEA Gaze+引入显式视线跟踪,为WAM提供操作期间类人视觉注意力先验。

随着深度学习缩放,数据量与任务复杂度同步提升,Ego4D实现里程碑式跨越,提供超3600小时无脚本第一人称视频,对WAM发展至关重要的是,Ego4D引入专门的情景记忆与未来预测基准,直接训练模型基于当前视觉上下文预测未来状态 (st+1)(s_{t+1});为让模型接触无界开放世界语义,HowTo100M(1.36亿剪辑)、Kinetics-700等网络规模数据集提供大规模视频-文本对齐,让WAM将开放词汇语义指令落地到数百万实例的多样视觉状态转移;近期工作进一步优化这种被动监督,COM Kitchens引入视觉动作图,绘制动作与状态变化的组合规则;Egocentric-10K扩展到高精度工业工作流;DreamDojo用4.38万小时众包活动 pushed 规模极限。在该大规模语料库预训练,模型在接触任何机器人特定动作前,已建立深入的物体永久性与材料属性理解。

5.4.2 弥合动作差距:姿态估计与本体感受接地

原始视频提供视觉常识,但学习条件动作动态 (st+1=f(st,at))(s_{t+1}=f(s_t, a_t)) 严格需要动作输入。为绕过机器人数据稀缺,研究者越来越将人类手作为通用末端执行器,通过为第一人称视频标注3D姿态与运动跟踪,数学桥接人类视频与机器人策略学习。

早期数据集建立空间监督基础,Assembly101提供数千条结构化装配视频,H2O引入显式多视角3D手与6D物体姿态标注,将视觉交互转换为精确几何轨迹;EgoPAT3D进一步聚焦未来空间预期;这种精度随后缩放,捕捉复杂接触物理与视角不变理解,里程碑Ego-Exo4D捕获1286小时同步第一人称与第三人称视角,迫使模型独立于相机角度理解3D空间变换;对灵巧操作,ARCTIC、HOT3D、TACO等数据集提供毫米级精确3D手-物体网格,让WAM建模复杂力闭合与双手几何关系;同时,数据集扩展到全局形态感知,Aria Everyday Activities集成SLAM点云与眼睛视线,OAKINK2连接分层任务意图与精细姿态,Nymeria提供300小时全身动作捕捉。

5.4.3 面向通用预训练的混合数据

World Action Models 架构与评估综述图解

面向WAM研发的最新趋势,是专门为通用智能体预训练而构建的超大规模混合数据。这类数据不再是零散的学术测评集,而是把多源数据集整合成一体化的学习引擎。

Ego-Centric Human Manipulation Dataset、UniHand 等汇集超过 1.3 亿帧、数千小时视频,把异构 RGB 观测统一对齐到人体运动学手姿态;EgoDex 更是最新里程碑,将规模扩展到 829 小时、194 个任务,同时保持高精度 3D 手指跟踪,用于灵巧控制。

同期,Humanoid Everyday、 PH2DPH^2D 等数据集明确把人体第一人称演示与人形机器人(Humanoid)运动学对齐。对未来 WAM 而言,这类带本体感知标注的混合数据是最终催化剂,让模型能吸收海量人类行为数据,并直接映射到机器人动作空间。

6 评估

完整评估 WAM 需要同时衡量两方面:

  1. 预测未来状态的保真度
  2. 生成动作的有效性 ——且理想情况下要评估两者之间的因果对齐。

但目前业界没有统一协议能同时评估这两个相互依赖的部分,现有工作普遍采用解耦评估范式:分别用模块专属指标评估世界建模能力与动作策略能力。本文沿用主流惯例,从两条互补轴线梳理评估方法:

  1. 世界建模能力(6.1节):检验合成状态转移的物理完整性与结构一致性
  2. 动作策略能力(6.2节):衡量生成动作完成具身任务的有效性

6.1 如何评估世界建模能力?

评估 WAM 的世界建模部分,和普通视频生成评估有本质区别: 除表面视觉真实感外,世界动作模型必须忠实捕捉环境底层动态并保留可执行信息。

因此,当前对世界建模能力的评估分为三个平行维度:

  • 视觉保真度(6.1.1):评估视觉界面质量与时间一致性
  • 物理常识(6.1.2):检验是否符合基本物质与力学规律
  • 动作合理性(6.1.3):衡量合成转移是否包含足够信息,可映射回可执行控制信号

6.1.1 视觉保真度

视觉保真度是评估世界动作模型的最基础层面,因为生成视频若存在严重伪影、时序不一致或指令对齐差,物理推理与动作提取都会不可靠。

当前工作通常组合四类指标:

  • 低层重建指标
  • 感知相似度指标
  • 语义对齐信号
  • 分布级真实感指标

从像素层面评估:

  • PSNRPSNR:通过最大信号值与均方误差的对数比衡量重建保真度
PSNR(x,y)=10log(MAX2MSE(x,y))PSNR(x,y)=10log \left( \frac {MAX^{2}}{MSE(x,y)}\right)
  • SSIMSSIM:通过比较亮度、对比度、结构信息评估结构相似性

超越低层统计,近期工作广泛引入基于特征的感知/语义相似度指标:

  • LPIPSLPIPS:在深度特征空间计算感知相似度
LPIPS(x,y)=∑l1HlWl∑h,w∥wl⊙(f^l(x)hw−f^l(y)hw)∥22LPIPS(x, y)=\sum _{l} \frac {1}{H_{l}W_{l}}\sum _{h,w}\left\| w_{l} \odot\left(\hat{f}_{l}(x)_{hw}-\hat{f}_{l}(y)_{hw}\right) \right\| _{2}^{2}
  • DreamSimDreamSim:基于人类判断的感知相似度信号
DreamSim(x,y)=1−∥E(x)−E(y)∥2DreamSim(x,y)=1-\| E(x)-E(y)\| _{2}
  • DINODINO 特征相似性:作为语义/实例级对齐信号
DINO(gt,rt)=<f(gt),f(rt)>∥f(gt)∥2∥f(rt)∥2DINO\left(g_{t}, r_{t}\right)=\frac{\left< f\left(g_{t}\right), f\left(r_{t}\right)\right>}{\left\| f\left(g_{t}\right)\right\| _{2}\left\| f\left(r_{t}\right)\right\| _{2}}

分布层面指标:

  • FVDFVD:最常用的视频生成评估指标,计算真实与生成视频在预训练视频特征空间的弗雷歇距离
FVD=∥μr−μg∥22+Tr(∑r+∑g−2(∑r∑g)1/2)FVD=\left\| \mu_{r}-\mu_{g}\right\| _{2}^{2}+Tr\left(\sum_{r}+\sum_{g}-2\left(\sum_{r} \sum_{g}\right)^{1 / 2}\right)

总体上,世界动作模型的视频质量评估通常组合:

  • PSNR/SSIM:低层保真
  • LPIPS/DreamSim/DINO:感知与语义一致性
  • FVD:分布真实感与时序质量

6.1.2 物理常识

视频质量衡量生成视频是否“看起来像真的”,物理常识回答更深层问题:生成的世界是否按物理规律合理运行。

现有评估分为两大类:

  1. 物体动态
  2. 轨迹合理性
物体动态

物体动态关注生成视频是否保持物体时序连续性,同时建模符合物理的交互与时序一致事件演化,包括:

  • 实体跨帧稳定
  • 接触、碰撞、状态变化与因果顺序是否合理

典型基准:

  • VideoPhy:评估固-固、固-液、液-液等物理交互场景,用人工二分类标注
  • PhyGenBench:基于 VLM + LLM 的自动化物理常识评估,检测关键物理现象、验证物理顺序、评估自然度
  • VBench-2.0:包含物理维度,评估视频是否遵守力学、热学、物态变化规律
  • WorldModelBench:用五条物理定律做二元检查(牛顿第一定律、质量守恒、固体力学、流体力学、不可穿透性、重力)
  • Physics-IQ:用真实视频测试模型预测物理事件未来演化的能力
运动与轨迹合理性

评估物体/智能体运动是否连贯、平滑、符合条件约束、物理合理,更强调长程运动质量与可控时序稳定。 典型基准:

  • WorldScore:从可控性、质量、动态性评估,动态性分解为运动精度、幅度、平滑度
  • EWMBench:评估具身世界模型的视觉一致性、运动正确性、语义对齐,用末端执行器(EEF)轨迹做评估目标

综上,物理常识评估不只看视频是否视觉真实,还要检验:

  • 物体身份稳定
  • 交互符合因果与物质约束
  • 物体运动时序合理

6.1.3 动作合理性

世界动作模型评估中最独特、最关键的维度是动作合理性。 如果说视频质量问“看起来是否真实”,物理常识问“行为是否合理”,动作合理性则问:生成的视频是否保留足够的动作相关信息,支持控制推理与下游执行。

代表性基准:

  • WorldSimBench:引入隐式操作评估,不只看视觉质量,更评估生成视频能否准确翻译成正确控制信号
  • Wow, wo, val!:提出逆动态模型(IDM)图灵测试,用IDM从生成视频反推动作序列,再在真实世界执行看成功率——很多视觉逼真的模型在此测试中几乎归零。

这凸显出视觉逼真≠可执行机器人行为之间的巨大鸿沟,确立动作合理性是独立于外观与物理真实感的关键评估轴。

World Action Models 架构与评估综述图解

6.2 如何评估动作策略?

世界建模评估关注状态转移保真度,动作策略评估关注策略能力:模型在多样场景下生成精确、鲁棒、可泛化控制信号的能力。

随着WAM从被动视频生成转向主动机器人控制,策略系统性评估成为核心研究焦点。

现有基准分为五大类(按机器人形态与操作场景):

  1. 通用操作
  2. 双手与人形(Humanoid)操作
  3. 移动操作
  4. 接触与可变形物体操作
  5. 真实机器人评估

6.2.1 通用操作基准

通用操作是目前覆盖最广、最主流的评估方向,构成动作策略评估生态的主体。

早期基准建立多任务操作评估框架:

  • MetaWorld(50项)、RLBench(100项) 后续转向离线模仿学习:
  • Robomimic、Franka Kitchen LIBERO 开创四维评估体系:泛化、长时任务、终身学习、语言理解,共130项任务。

随着数据驱动范式成熟,基准在物体多样性、任务数、轨迹量上大幅扩展:

  • ManiSkill 系列
  • RoboCasa
  • RoboVerse

近年重点转向多维度泛化:

  • COLOSSEUM、LIBERO-Plus、LIBERO-Pro、LIBERO-X、AGNOSTOS、GemBench

从新摆放、新刚体,到铰接物体、长时任务组合,形成结构化难度递增。

其他关键方向:

  • 语言条件操作:VIMA-Bench、VLMbench、CALVIN
  • 长时操作:GenManip、VLABench
  • Sim-to-Real:SimplerEnv、PolaRiS
  • 记忆能力:RoboMME(时间、空间、物体、过程记忆)

6.2.2 双手与人形(Humanoid)形态基准

这类基准面向两类形态:

  1. 双手机器人:双臂协调操作
  2. 人形机器人(Humanoid):全身运动能力

它们的动作空间维度、运动约束、任务复杂度远高于单臂,对策略的协同规划能力要求极高。

代表基准:

  • RoboTwin:基于 Aloha-AgileX 双臂平台
  • BiGym:基于 Unitree H1,40项家庭场景移动双手任务
  • HumanoidBench:Unitree H1 + Shadow-Hand 灵巧手 + 全身触觉,27项任务
  • HumanoidGen:支持泛化、长时、灵巧性评估,20万+轨迹

6.2.3 移动操作基准

移动操作同时考虑导航 + 操作,要求策略具备跨场景感知、规划、动态执行能力,综合挑战最高。

代表基准:

  • ManipulaTHOR:Kinova Gen3 + 移动底盘
  • HomeRobot:Hello Robot Stretch,开放词汇移动操作
  • BEHAVIOR-1K:1000项日常活动,支持刚体、可变形、液体物理仿真

6.2.4 接触与变形操作基准

接触与变形操作打破传统刚体假设,要求策略感知并精确控制柔顺物体变形,是操作策略评估中最具挑战的方向,对物理建模要求最严苛。

分为两类:

  1. 宏观可变形物体操作:布料、液体、塑性材料
  • SoftGym、PlasticineLab、DaXBench
  1. 接触感知精细操作:依赖触觉/力反馈
  • TacSL、ManiFeel

标志着领域从视觉主导感知向视觉-触觉融合感知跃迁。

6.2.5 真实设备基准

仿真评估高效、可复现,但仿真-真实差距始终存在,难以准确预测真实部署性能。 因此部分工作直接在真实机器人平台构建基准,结论更具现实意义。

代表基准:

  • RoboArena:真实设备开放评估,聚焦泛化
  • RoboChallenge:30项多任务真实场景,支持4平台横向对比
  • Maniparena:双平台、10812条真实轨迹,覆盖泛化、长时、多任务,是目前规模最大的真实设备操作基准。

World Action Models 架构与评估综述图解

7 开放挑战与机遇

世界动作模型(WAM)的出现,标志着具身智能从token级预测迈向状态级预测的关键转变,但通往通用物理智能的道路依然碎片化。 本文认为,解决这些问题不只是增量式缩放,更需要重新思考世界模型的架构、接地与验证方式。

以下是定义WAM下一阶段研究的核心挑战与机遇:

7.1 架构耦合

领域已经涌现大量耦合世界预测与动作生成的结构方案:

  • 级联流水线
  • 联合扩散主干
  • 离散token化
  • 隐式表征对齐

但尚无在统一规模、数据、评估协议下的系统性对照研究。 目前仍不清楚:

  • 显式视觉预测对物理接地是否必需
  • 级联与联合架构在哪些控制场景存在本质差异
  • 每种耦合机制提供何种归纳偏置

领域急需严格的消融实验与理论分析,从“架构跟风”走向原则化设计。

一个有潜力方向:推理阶段是否真的需要显式像素空间预测? 近期证据表明,某些WAM中世界建模的主要价值来自训练时的辅助梯度,而非推理时显式生成未来帧。

部分框架证明:测试阶段移除未来预测头并不降低下游控制性能。

这开启更高效范式: 不在像素空间重建高维未来观测,而是在联合学习的隐空间预测未来状态的抽象表征。

这类仅隐空间预测方案(以JEPA为代表)可让模型专注环境因果不变量,忽略感知无关细节,实现更紧凑、物理接地更好的世界理解与动作执行耦合。

7.2 多模态物理状态表征

现有WAM几乎都只预测RGB视觉模态的未来世界状态。 但接触密集操作最关键的物理信息在像素空间基本不可见:

  • 触觉分布
  • 接触力
  • 声学信号
  • 材料柔顺性

局限于视觉预测的世界模型,在最需要建模的物理交互上存在系统性盲区。 将WAM扩展到联合预测与推理触觉、力、本体感受未来状态,并研发支撑这类多模态世界建模的架构与数据集,是重要且基本未探索的前沿。

更广泛地说,这要求重新定义WAM中的世界状态: 如果接触密集操作相关的状态不是像素数组,而是视觉、触觉、力的联合分布,那么多模态预测就不只是现有范式的扩展,而是重新定义世界模型预测什么、为了什么而预测。

未来架构的重要能力是模态自适应预测:

  • 富传感器流可用时生成物理接地预测
  • 无多模态时优雅降级到纯视觉推理 而非把全模态当成固定架构要求。

7.3 数据利用与混合设计

多项工作证明:加入第一人称人类视频等非机器人数据源可显著提升下游操作性能。 但最优数据混合设计原则仍不明确:

  • 各数据源的规模、域差距对应的边际贡献是什么
  • 人类视频预训练的收益主要来自语义还是动态
  • 训练课程如何从互联网先验过渡到精确动作标注机器人演示

解决这些问题,是WAM训练摆脱对昂贵机器人遥操作依赖的关键。

本文认为,数据混合设计的核心挑战是解开非机器人数据在接地中的多重重叠作用: 从信息论角度而非经验调参,可帮助领域识别: 世界建模的哪些组件最适合从互联网视频学习,哪些必须从精确机器人演示学习。

关键前沿:具身感知过滤机制——架构能从多样来源选择性提取通用物理规律,同时隔离抑制与目标机器人运动学不兼容的行为。

7.4 长时规划与时间抽象

WAM目前大多评估短时操作、单一交互上下文任务, 但真正的具身通用性需要扩展任务时域的持续推理。 现有架构在此领域面临复合挑战:

  • 世界模型预测的分布漂移随长程rollout累积
  • 缺乏重规划导致动作误差不断放大
  • 将完整长时任务轨迹表示为连续生成输出计算不可行、架构不支持

分层世界-动作建模的原则化框架: 将高层语义任务分解与低层物理预测统一在可学习架构中,仍是关键开放挑战。

三条互补路径:

  1. 模块化分层:WAM作为低层物理执行器,由高层规划器(如VLM)分解复杂任务为语义子目标
  2. 内在分层WAM:能生成多分辨率未来预测,粗粒度状态转移用于战略规划,细粒度物理细节用于反应控制
  3. 时间上下文缩放:架构创新扩展WAM“记忆”,保持丰富历史状态信息,避免标准注意力的二次开销

这些路径最终会收敛到统一端到端可学习分层,还是保持专用模块组合系统,是下一代WAM的基础问题。

7.5 推理延迟与计算效率

世界预测的集成带来严重延迟税,威胁闭环控制可行性。 尽管现代联合WAM通过算法加速、底层优化将推理推向7Hz左右,仍远落后于标准非生成式VLA策略的50Hz要求。

根本矛盾:WAM丰富的物理预见性能否保留在实时电机控制的时间分辨率下?

背后悬而未决的理论问题:下游控制到底需要多高的预测保真度?如果性能远在全扩散合成质量之前就已饱和,目标就不该是“把高保真预测变快”, 而是识别给定任务的最小充分世界模型,并按需使用。

这指向任务自适应预测保真度: 模型根据任务需求与误差容忍度,动态调整预测深度与分辨率, 在精度最重要的地方投入计算,其他地方用更粗近似。

7.6 评估方法

当前WAM评估存在严重解耦问题:

  • 世界建模通常用PSNR、FVD等像素级指标,只看视觉合理性,不管物理正确性——浮空、违反物理的视频仍能拿高分
  • 动作生成只看下游任务成功率

这种割裂完全违背WAM的核心设计思想:世界预测与动作生成之间存在强因果关联。

WAM生态最缺失的是:能量化想象未来与生成动作之间因果一致性的联合评估指标。 未来基准必须引入耦合指标,探查视觉预测与物理执行的因果链路,例如:

  • 反事实一致性:动作如何适应想象未来的扰动
  • 预见条件成功率:执行轨迹严格遵循生成视觉规划,而非依赖数据集伪相关

评估模型“想象内容”与“物理执行”之间的意图对齐,对确保动作真正基于准确视觉预见、而非记忆数据集偏差至关重要。

7.7 安全与可靠物理部署

部署在物理环境的WAM带来超越传统VLA策略的安全考量: 一个自信想象错误物理未来的模型,可能执行长序列动作,真实后果难以中断恢复,可能伤害物体、环境、人员。

同时,WAM的预测能力为安全强制执行提供原则性路径: 世界预测可在执行前,对照物理约束或保守不确定性估计做检查。

实现这一点需要: 将安全验证集成到推理流水线,计算可负担、对分布偏移鲁棒, 这在WAM能力与部署野心持续扩张的背景下,仍是重大开放挑战。

8 结论

本综述首次对**世界动作模型(WAM)**领域做出系统性、批判性分析,将其定位为具身智能的关键前沿。

本文建立清晰概念框架:

  • 正式定义WAM
  • 厘清与相关方法边界
  • 将多样架构归类为级联与联合范式
  • 在范式内进一步细分生成模态、条件机制、动作解码策略

同时系统梳理:

  • 可扩展训练数据集
  • 覆盖视觉保真度、物理常识、动作合理性的多维度评估协议

最后基于当前发展状态,提出关键开放挑战与未来方向,指导下一阶段发展。

随着生成式世界建模与机器人技术持续融合,WAM研究潜力巨大。 希望本综述能澄清领域术语边界、勾画架构设计空间,为迈向通用具身智能体提供有意义的支撑。


搬运说明:本篇精读整理搬运自微信公众号「human five」发表的《World Action Models:具身智能的下一个前沿》,对应 OpenMOSS 团队综述论文 World Action Models: The Next Frontier in Embodied AI(项目主页 · GitHub),作为本站论文精读模块示例归档保存。

END OF READING NOTE本篇研读完

Trace upstream assumptions and downstream evolutions along the research trail.顺着论文脉络追溯问题起点,也记录方法向下一代的演进分叉。

Back to papers ↗返回论文脉络 ↗