論文の概要: FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models
- arxiv url: http://arxiv.org/abs/2609.34362v1
- Date: Mon, 28 Sep 2026 05:39:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 21:30:25.778367
- Title: FutureDuet: Decoupling Observation Access from Future Supervision in World Action Models
- Title（参考訳）: FutureDuet:世界行動モデルにおける将来の展望からの観測アクセスの分離
- Abstract要約: 我々はFutureDuetを導入し、両ビューを制御し、各ビジュアルストリームが異なる未来目標を受信できるようにする。
メインビューでは、将来のRGBモデルはタスクの進化をモデル化し、インタラクションマスクとロボットスケルトンはタスクオブジェクトとロボットの動きを監督する。
手首ストリームでは、将来の潜伏予測は画素レベルの再構成を必要とせず、短水平相互作用の変化をモデル化する。
- 参考スコア（独自算出の注目度）: 17.521920330076366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World Action Models (WAMs) augment robot action generation with future visual supervision. Existing WAMs commonly fuse main and wrist observations into one visual stream and train both with the same future-video objective, despite their different visual dynamics. A stable main camera reveals scene-level task evolution, whereas wrist cameras move with the end effector, mixing local interaction changes with viewpoint shifts and self-occlusion. These contrasting predictive demands suggest that the two views may benefit from different future objectives. We introduce FutureDuet, which retains both views for control, while allowing each visual stream to receive a different future objective. For the main view, future RGB models task evolution, while interaction masks and robot skeletons focus supervision on task objects and robot motion. For the wrist stream, future latent prediction models short-horizon interaction changes without requiring pixel-level reconstruction. ActionDiT jointly reads the resulting Task State and Interaction State, combining scene-level progress with close-range interaction evidence. All auxiliary prediction modules are training-only, adding no inference overhead. FutureDuet achieves 94.2% clean and 94.1% randomized success on RoboTwin50 and 99.2% average success on LIBERO. The improvements are most pronounced on six RoboTwin50 tasks that require precise interaction, averaging gains of 9.2% and 12.8% over Fast-WAM in clean and randomized settings. Controlled studies further show complementary gains from separating the wrist pathway and designing future supervision separately for the two views.
- Abstract（参考訳）: World Action Models (WAMs) 将来の視覚的監視を備えたロボットアクション生成。
既存のWAMは、視覚力学が異なるにもかかわらず、メインと手首の観察を1つの視覚ストリームに融合させ、同じ未来ビデオの目的でトレーニングする。
安定したメインカメラはシーンレベルのタスクの進化を示し、手首カメラはエンドエフェクターで動き、局所的な相互作用の変化と視点シフトと自己閉塞を混合する。
これらの対照的な予測的要求は、2つの見解が異なる将来の目的の恩恵を受けることを示唆している。
我々はFutureDuetを導入し、両ビューを制御し、各ビジュアルストリームが異なる未来目標を受信できるようにする。
メインビューでは、将来のRGBモデルはタスクの進化をモデル化し、インタラクションマスクとロボットスケルトンはタスクオブジェクトとロボットの動きを監督する。
手首ストリームでは、将来の潜伏予測は画素レベルの再構成を必要とせず、短水平相互作用の変化をモデル化する。
ActionDiTは結果のタスク状態とインタラクション状態を共同で読み込み、シーンレベルの進捗とニアレンジのインタラクションエビデンスを組み合わせる。
すべての補助予測モジュールはトレーニングのみであり、推論オーバーヘッドを追加しない。
FutureDuetは、RoboTwin50で94.2%、RoboTwin50で94.1%、LIBEROで99.2%の成功を達成している。
改善点が最も顕著なのは6つのRoboTwin50タスクで、正確なインタラクションが必要であり、Fast-WAMよりも平均で9.2%、12.8%向上している。
コントロールされた研究は、手首の経路を分離し、2つの視点で将来の監督を個別に設計することによる相補的な利益をさらに示している。
関連論文リスト
- MT-WAM: Reorienting the One-Pass Predictive Representation Toward Action Generation [8.200221267664881]
Fast-WAMは、将来の動画を推論時に生成することなく、ビデオアクションの協調訓練が制御を改善することを示す。
MT-WAMは,本来の訓練目標を維持し,将来の2次元点軌跡と視覚的特徴を補完的に監視する。
論文 参考訳（メタデータ） (2026-09-18T08:23:15Z) - AffordanceWAM: Affordance-Aware Joint World-Action Modeling for Robot Manipulation [61.436480565887905]
汎用的なロボット操作は、シーンがどのように進化するかを予測する必要がある。
アクションラベル付きロボットビデオは、直接制御を監督するが、コストが高く、多様性に制限がある。
本稿では,Scalr Affordance と Affordance Heatmap によるオブジェクトの空き時間を表す,空き時間を考慮した World Action Model を提案する。
論文 参考訳（メタデータ） (2026-09-16T14:07:06Z) - DUET-DINO: Simultaneous Cross-View World Modeling for Latent Planning in Robot Manipulation [19.179682667653328]
アクション条件付き潜在世界モデルは将来の視覚表現を予測し、ゼロショットの目標条件付きロボットの計画と制御を可能にする。
本稿では,静的側カメラと手首カメラの同時観測により,動作条件付き予測を同時学習するDuet-DINOについて紹介する。
補完的なグローバルシーンとグリップ中心の情報を活用することで、DUET-DINOは完全な7-DoFアクション空間の潜在計画を可能にする。
論文 参考訳（メタデータ） (2026-09-09T17:41:38Z) - DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation [9.154987050049268]
DeCOWAMは、カメラのエゴモーションをベースアクションとアームアクションとを分離する全身世界アクションモデルである。
固定されたリプレイプロトコルでは、DECWAMはFastWAM上での将来のビデオとアクションの予測を改善し、25.95Mのトレーニング可能な適応パラメータでアクションMSEを21.7%削減した。
これらの結果から,運動視点下でのパラメータ効率のよい共同視覚予測と全身制御を支援することが示唆された。
論文 参考訳（メタデータ） (2026-08-20T14:44:11Z) - SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳（メタデータ） (2026-08-01T15:47:29Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳（メタデータ） (2026-05-12T14:15:16Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳（メタデータ） (2026-03-18T00:52:02Z) - Learning to Anticipate Egocentric Actions by Imagination [60.21323541219304]
我々は,エゴセントリックなアクション予測タスクについて検討し,エゴセントリックなビデオの再生に先立って,将来のアクション秒を予測する。
本手法は, EPIC Kitchens Action Precipation Challenge の既視テストセットと未確認テストセットの両方において, 従来手法を有意に上回った。
論文 参考訳（メタデータ） (2021-01-13T08:04:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。