論文の概要: SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control

• arxiv url: http://arxiv.org/abs/2608.00725v1
• Date: Sat, 01 Aug 2026 15:47:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.878272
• Title: SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control
• Title（参考訳）: SelfWAM:高速ロボット制御のための自己集合型世界行動モデル
• Abstract要約: 世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。 本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。 我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
• 参考スコア（独自算出の注目度）: 38.11007351456953
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World Action Models (WAMs) improve robot policy learning by jointly modeling actions and future observations. However, conditioning future prediction only on the task prompt and observation context risks capturing generic task progression rather than the action-specific consequences of the executed action. We introduce SelfWAM, a unified self-grounded WAM built on a modality-specialized Mixture-of-Transformers (MoT) architecture that jointly predicts actions, action-conditioned future RGB frames, and robot self-masks, thereby grounding future prediction in the robot's visible body and its action-induced motion. During joint training, SelfWAM allows future visual queries to attend to a clean copy of the demonstrated action, turning the video branch into an action-specific consequence model while leaving the fast action-only inference path unchanged. To focus video learning on action-relevant visual changes, we use prompt-specific objectives for future robot self-mask prediction, which removes appearance details and provides a target whose temporal evolution is tightly coupled with the conditioning action. Together, clean-action conditioning and future self-mask supervision make future predictions more directly reflect how the executed action changes the robot's visible motion and the surrounding scene. Experiments on RoboTwin 2.0 and real-world manipulation tasks show that SelfWAM produces more action-sensitive futures and preserves fast policy inference, while improving policy performance.
• Abstract（参考訳）: 世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。 しかし、将来の予測は、実行されたアクションのアクション固有の結果よりも、ジェネリックタスクの進行をキャプチャするタスクプロンプトと観察コンテキストのリスクにのみ依存する。 本稿では, 動作, 動作条件付き将来のRGBフレーム, ロボットの自己マスクを共同で予測し, ロボットの可視体と動作誘発動作に将来の予測を基礎付ける, モーフィタリゼーション特化混合変圧器(MoT)アーキテクチャ上に構築された, 統一的な自己接地型WAMであるSelfWAMを紹介する。 共同トレーニング中、SelfWAMは将来のビジュアルクエリを、デモされたアクションのクリーンなコピーに参加できるようにし、ビデオブランチをアクション固有の結果モデルに変換しながら、高速なアクションのみの推論パスをそのままにしておく。 映像学習を行動関連視覚変化に焦点を合わせるため、将来のロボットの自己マスク予測に、即時特異的な目的を用いて、外観の詳細を除去し、時間的進化が条件付け動作と密結合しているターゲットを提供する。 クリーンアクション・コンディショニングと将来のセルフマスク・インフォメーションは、実行されたアクションがロボットの視覚的な動きや周囲のシーンをどのように変化させるかを、将来の予測をより直接的に反映する。 RoboTwin 2.0の実験と実世界の操作タスクにより、SelfWAMはよりアクションに敏感な未来を生み出し、迅速なポリシー推論を維持しつつ、ポリシー性能を改善している。

関連論文リスト

• Foresight Without Seeing: Latent Futures for World Action Models [31.423405133926334]
  本稿では,動的条件付き直接政治WAMであるForeWAMを提案する。 また、凍結した潜伏行動教師が指導するダイナミクスを導入し、物体の動きや接触変化、タスクの進行といった相互作用によって引き起こされる遷移を、暗黙の未来の状態が捉えることを奨励する。 ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
  論文  参考訳（メタデータ） (2026-08-12T03:27:43Z)
• Masked Visual Actions for Unified World Modeling [96.12988421978463]
  Masked Visual Actionsは、ビデオ内の任意の実体の部分的に明らかな軌跡としてアクションを表現するピクセル空間制御インタフェースである。 Revealing Robot Motionは、このモデルをフォワードダイナミクスモデルとして機能させ、低レベルのロボット動作に対するシーンの反応を予測する一方で、望ましい物体の動きを明らかにすることにより、同じモデルがロボットの動作をその結果と一致させる。
  論文  参考訳（メタデータ） (2026-07-21T17:59:11Z)
• WALA Learning Executable Latent Actions from Action-Labeled Demonstrations and Action-Free Videos [38.959415159248046]
  WALAは、アクションラベル付きデモとアクションフリービデオの両方から実行可能な潜在アクションを学ぶためのフレームワークである。 WALAはRoboTwin上で高いパフォーマンスを実現し,RoboCasa上での最先端の成果を平均75.2%で実現している。
  論文  参考訳（メタデータ） (2026-07-13T11:02:04Z)
• LaWAM: Latent World Action Models for Efficient Dynamics-Aware Robot Policies [31.88655699486955]
  ラワント・アクション条件付きラワント・ワールドモデル(LaWM)を提案する。 LaWAMは、将来のビデオの再構成ではなく、コンパクトで潜伏した視覚サブゴールを通じて、ロボットポリシーに対する予測ダイナミクスを公開する。 LaWAMはアクションチャンク予測あたり187msで動作し、画素空間のWAMよりも最大24倍の遅延時間を実現する。
  論文  参考訳（メタデータ） (2026-06-14T12:06:58Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Reimagination with Test-time Observation Interventions: Distractor-Robust World Model Predictions for Visual Model Predictive Control [51.14656121641822]
  世界モデルは、現在の観測と計画された行動によって、ロボットが将来の観察を「想像」することができる。 新たな視覚的障害は、行動結果の予測を破損させ、ロボットが計画や行動検証のために世界モデルの想像力に依存するとき、下流の障害を引き起こす可能性がある。 本稿では、世界モデルによるより信頼性の高い行動結果の予測を可能にする簡易かつ効果的なテストタイム戦略であるReOI(Reimagination with Observation Intervention)を提案する。
  論文  参考訳（メタデータ） (2025-06-19T19:41:29Z)
• Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
  本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。 コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
  論文  参考訳（メタデータ） (2021-03-18T15:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。