論文の概要: TrajWAM: An Efficient Trajectory-Guided World Action Model for Dynamic Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2610.25763v1
- Date: Mon, 19 Oct 2026 04:21:22 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:20:56.654733
- Title: TrajWAM: An Efficient Trajectory-Guided World Action Model for Dynamic Robotic Manipulation
- Title(参考訳): TrajWAM:動的ロボットマニピュレーションのための効率的な軌道誘導世界行動モデル
- Abstract要約: 我々は,効率的な動的ロボット操作のための軌道誘導世界行動モデルであるTrajWAMを提案する。
我々の重要な洞察は、予測対象運動における将来の視覚的想像力を明確に理解することである。
軽量なトラジェクトリ制御ネットは、トラジェクトリ一貫性のある未来に向けて、事前訓練されたビデオモデルを操縦する。
- 参考スコア(独自算出の注目度): 30.85327930901676
- License:
- Abstract: Dynamic object manipulation requires robots to anticipate target motion while replanning fast enough to avoid executing outdated actions. Existing approaches either rely on fast reactive control without an explicit future target state or encode anticipated motion only implicitly. World Action Models (WAMs) offer a promising alternative by coupling future visual prediction with action generation, but scene-level video objectives may underrepresent target dynamics that are critical for manipulation, while iterative video-action denoising introduces substantial latency. We present TrajWAM, a trajectory-guided world action model for efficient dynamic robotic manipulation. Our key insight is to explicitly ground future visual imagination in predicted target-object motion and use the resulting future representation to condition action generation, while preserving this anticipation pathway after acceleration. Given a short history of object masks, a history-conditioned motion predictor forecasts future masks encoding the target object's trajectory. A lightweight Trajectory ControlNet then steers a pretrained video model toward trajectory-consistent futures. The resulting future representation conditions an action expert to predict executable action chunks. To enable one-step inference without breaking this interface, we introduce a decoupled distillation scheme that combines distribution matching for the video backbone, Trajectory ControlNet realignment, and action rollout distillation to support accurate one-step action prediction conditioned on the compressed future representation. Comprehensive evaluations in simulation and the real world show that TrajWAM achieves state-of-the-art performance on dynamic object manipulation tasks while enabling efficient one-step video-action inference. Project page: https://kevingeng3.github.io/TrajWAM/.
- Abstract(参考訳): 動的オブジェクト操作は、古いアクションの実行を避けるのに十分な速さで、ロボットがターゲットの動きを予測する必要がある。
既存のアプローチは、明示的な将来のターゲット状態なしで高速なリアクティブ制御に依存するか、期待された動きを暗黙的にエンコードする。
World Action Models (WAM) は、将来の視覚的予測とアクション生成を結合することで、将来有望な代替手段を提供するが、シーンレベルのビデオ目的は、操作に不可欠なターゲットダイナミクスを過小評価する一方で、反復的なビデオアクションデノゲーションは、かなりの遅延をもたらす。
我々は,効率的な動的ロボット操作のための軌道誘導世界行動モデルであるTrajWAMを提案する。
我々の重要な洞察は、予測対象運動における将来の視覚的想像力を明確化し、その結果の将来の表現を条件行動生成に利用し、加速後のこの予測経路を保存することである。
オブジェクトマスクの短い歴史が与えられたとき、履歴条件付きモーション予測器は、対象オブジェクトの軌道を符号化する将来のマスクを予測する。
次に、軽量なトラジェクトリコントロールネットが、トラジェクトリ一貫性のある未来に向けて、事前訓練されたビデオモデルを操縦する。
結果として生じる将来の表現条件は、実行可能なアクションチャンクを予測するアクションエキスパートである。
このインタフェースを壊さずにワンステップの推論を可能にするために,ビデオバックボーン,トラジェクトリ・コントロールネットの配置マッチング,アクションロールアウト蒸留を組み合わせた分離蒸留方式を導入する。
シミュレーションと実世界の総合的な評価は、TrajWAMが動的オブジェクト操作タスクにおける最先端のパフォーマンスを実現し、効率的なワンステップビデオアクション推論を実現していることを示している。
プロジェクトページ: https://kevingeng3.github.io/TrajWAM/。
関連論文リスト
- MoWAM: Explicit Future Motion Prediction for Efficient World Action Models [38.28877145670457]
MoWAMは、将来の動画生成を明示的な将来の動き予測に置き換える効率的なWAMである。
Mixture-of-Transformerアーキテクチャは、動作と動作を共同で予測しながら、トレーニング中の将来の視覚力学を学習する。
LIBERO, LIBERO-Plus, および実世界の操作タスクの実験により, MoWAMは, 配電性能が向上し, 配電安定性が向上し, より平均的な実世界の成功が得られた。
論文 参考訳(メタデータ) (2026-09-17T17:07:00Z) - SelfWAM: A Self-Grounded Unified World Action Model for Fast Robot Control [38.11007351456953]
世界行動モデル(WAM)は、アクションと将来の観察を共同でモデル化することで、ロボットポリシー学習を改善する。
本稿では,モダリティに特化したMixture-of-Transformers (MoT) アーキテクチャ上に構築された,自己接地型WAMであるSelfWAMを紹介する。
我々は、より行動に敏感な未来を生み出し、迅速な政策推論を保ちつつ、政策性能を改善していることを示す。
論文 参考訳(メタデータ) (2026-08-01T15:47:29Z) - From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。
我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文 参考訳(メタデータ) (2026-05-12T14:15:16Z) - AIM: Intent-Aware Unified world action Modeling with Spatial Value Maps [7.710034405765985]
AIMは、明示的な空間的インターフェースを通じてこのギャップを橋渡しする意図認識の統一世界行動モデルである。
事前訓練されたビデオ生成モデルに基づいて構築されたAIMは、共有変換器アーキテクチャ内の将来の観測と値マップを共同でモデル化する。
RoboTwin 2.0ベンチマークの実験では、AIMは平均94.0%の成功率に達し、以前の統合された世界行動ベースラインを著しく上回っている。
論文 参考訳(メタデータ) (2026-04-13T07:48:58Z) - GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。
実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
論文 参考訳(メタデータ) (2026-03-18T00:52:02Z) - Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。
PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。
ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
論文 参考訳(メタデータ) (2025-08-13T13:54:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。