論文の概要: Foresight Without Seeing: Latent Futures for World Action Models
- arxiv url: http://arxiv.org/abs/2608.11605v1
- Date: Wed, 12 Aug 2026 03:27:43 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-13 19:07:54.442416
- Title: Foresight Without Seeing: Latent Futures for World Action Models
- Title（参考訳）: 見ることなく見る - World Action Modelsの近未来
- Abstract要約: 本稿では,動的条件付き直接政治WAMであるForeWAMを提案する。
また、凍結した潜伏行動教師が指導するダイナミクスを導入し、物体の動きや接触変化、タスクの進行といった相互作用によって引き起こされる遷移を、暗黙の未来の状態が捉えることを奨励する。
ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
- 参考スコア（独自算出の注目度）: 31.423405133926334
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) couple future visual prediction with robot action generation, enabling policies to model how the physical world evolves during interaction. Existing WAMs differ in how predictive dynamics are exposed to the action pathway. Explicit-future WAMs provide direct access to predicted scene evolution, but incur substantial inference costs from iterative video denoising. In contrast, direct-policy WAMs efficiently predict actions from the current observation but lack an explicit inference-time interface for exposing predictive dynamics to the Action DiT. To bridge this gap, we propose ForeWAM, a dynamics-conditioned direct-policy WAM that provides predictive context for action generation without decoding future videos. At its core, Future-KV performs a single Video DiT prefill over the current visual latent and stochastic future slots, and reuses the resulting layer-wise key-value states throughout action denoising. We further introduce dynamics registers supervised by a frozen latent action teacher, encouraging the implicit future states to capture interaction-induced transitions such as object motion, contact changes, and task progress. Ground-truth future observations and the teacher are used only during training; deployment requires neither and performs no future video generation. Without embodied robot data pretraining, the standard and accelerated variants of ForeWAM achieve average success rates of 96.7% and 96.9% on LIBERO, respectively. The standard variant further achieves 61.6% success on LIBERO-Plus. These results demonstrate that direct-policy WAMs can retain efficient action prediction while exposing predictive dynamics to the action pathway without explicitly generating future observations.
- Abstract（参考訳）: World Action Models (WAMs)は、未来の視覚的予測とロボットアクション生成を結合し、インタラクション中に物理的な世界がどのように進化するかをモデル化するポリシーを可能にする。
既存のWAMは、動作経路に予測力学がどのように露出するかが異なる。
露骨な未来のWAMは、予測されたシーンの進化に直接アクセスするが、反復的なビデオのデノベーションによってかなりの推論コストを発生させる。
対照的に、直接政治のWAMは、現在の観測からアクションを効率的に予測するが、Action DiTに予測ダイナミクスを公開するための明示的な推論時間インターフェースは欠如している。
このギャップを埋めるため,将来の映像をデコードすることなく,アクション生成の予測コンテキストを提供する動的条件付き直接政治WAMであるForeWAMを提案する。
コアとなるFuture-KVは、現在の視覚的潜伏と確率的未来スロットに1つのビデオDiTプリフィルを実行する。
さらに,凍結した潜伏行動教師が指導するダイナミックスレジスタを導入し,物体の動きや接触変化,タスクの進行といった相互作用によって引き起こされる遷移を,暗黙の未来の状態が捉えることを奨励する。
地道な将来の観察と教師は訓練中にのみ使用され、展開は必要とせず、将来のビデオ生成も行わない。
ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
標準版は、LIBERO-Plusで61.6%の成功を収めた。
これらの結果は、直接政治のWAMは、将来の観測を明示的に生成することなく、行動経路に予測力学を公開しながら、効率的な行動予測を維持できることを示した。
関連論文リスト
- JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。
遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。
LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
論文 参考訳（メタデータ） (2026-08-10T09:57:54Z) - Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。
大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。
Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
論文 参考訳（メタデータ） (2026-08-09T08:02:49Z) - SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳（メタデータ） (2026-08-01T15:47:29Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - HarmoWAM: Harmonizing Generalizable and Precise Manipulation via Adaptive World Action Models [58.191567345416836]
世界行動モデル(WAM)は、物理力学のモデリングによるロボット制御のための有望なパラダイムとして登場した。
HarmoWAMは、予測と反応の制御を統一するために世界モデルを完全に活用し、一般的なトランジットと正確な操作を可能にする。
実世界の6つのロボットタスクにまたがる3つのトレーニング未確認テスト環境を構築し、背景、位置、オブジェクトの意味のバリエーションをカバーした。
論文 参考訳（メタデータ） (2026-05-11T17:59:56Z) - Being-H0.7: A Latent World-Action Model from Egocentric Videos [32.77431338471086]
我々は、VLAスタイルのポリシーに未来を意識した推論をもたらす潜在的世界行動モデルであるBeing-H0.7を提案する。
being-H0.7は、知覚と行動の間の学習可能な遅延クエリを、コンパクトな推論インターフェイスとして挿入する。
論文 参考訳（メタデータ） (2026-04-30T14:16:15Z) - LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。
そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。
R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文 参考訳（メタデータ） (2026-03-31T02:21:59Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - Ego-centric Predictive Model Conditioned on Hand Trajectories [52.531681772560724]
自我中心のシナリオでは、次の行動とその視覚的結果の両方を予測することは、人間と物体の相互作用を理解するために不可欠である。
我々は,エゴセントリックなシナリオにおける行動と視覚的未来を共同でモデル化する,統合された2段階予測フレームワークを提案する。
我々のアプローチは、エゴセントリックな人間の活動理解とロボット操作の両方を扱うために設計された最初の統一モデルである。
論文 参考訳（メタデータ） (2025-08-27T13:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。