論文の概要: MT-WAM: Reorienting the One-Pass Predictive Representation Toward Action Generation

• arxiv url: http://arxiv.org/abs/2609.21474v1
• Date: Fri, 18 Sep 2026 08:23:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-21 18:40:16.932285
• Title: MT-WAM: Reorienting the One-Pass Predictive Representation Toward Action Generation
• Title（参考訳）: MT-WAM:行動生成に向けた一括予測表現の再検討
• Abstract要約: Fast-WAMは、将来の動画を推論時に生成することなく、ビデオアクションの協調訓練が制御を改善することを示す。 MT-WAMは,本来の訓練目標を維持し,将来の2次元点軌跡と視覚的特徴を補完的に監視する。
• 参考スコア（独自算出の注目度）: 8.200221267664881
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fast-WAM shows that video-action co-training improves control without generating future video at inference, making the representation from a single video diffusion Transformer forward central to action generation. However, future-observation prediction does not explicitly prioritize the future dynamics and visual structure needed for control. We present MT-WAM, which retains the original training objectives and adds complementary supervision for future two-dimensional point trajectories and visual features. A lightweight dual-stream branch copied from the video backbone's final blocks provides target-specific processing, while a structured attention mask prevents cross-stream attention. Motion-stream tokens supply additional dynamics conditions to the action expert. Future visual-feature prediction provides supervision in a feature space that captures object and spatial structure. This supervision trains the video backbone to provide more informative visual context for action generation under changing visual conditions, without adding visual-feature-stream tokens to action conditioning. At inference, MT-WAM uses video and motion caches computed once per replan and skips future-video prediction. Without additional embodied policy pretraining, MT-WAM achieves 98.2% success on LIBERO and 73.7% on LIBERO-Plus, exceeding Fast-WAM by 23.8 percentage points on the latter. On RoboTwin 2.0 Clean2Rand, Random success increases from 6.30% to 19.40%; across four real-world tasks, average success increases from 67.0% to 77.8%.
• Abstract（参考訳）: Fast-WAMは、将来のビデオを生成することなく、ビデオアクションの協調訓練が制御を改善し、単一のビデオ拡散トランスフォーマーからの表現がアクション生成の中心となることを示す。 しかし、将来の観測予測は、制御に必要な将来の力学や視覚構造を明示的に優先順位付けしていない。 MT-WAMは,本来の訓練目標を維持し,将来の2次元点軌跡と視覚的特徴を補完的に監視する。 ビデオバックボーンの最終ブロックからコピーされた軽量なデュアルストリームブランチは、ターゲット固有の処理を提供し、構造化されたアテンションマスクは、ストリーム間の注意を妨げる。 モーションストリームトークンはアクションエキスパートに追加の動的条件を提供する。 将来の視覚特徴予測は、オブジェクトと空間構造をキャプチャする特徴空間の監督を提供する。 この監督は、アクションコンディショニングに視覚的特徴ストリームトークンを追加することなく、映像バックボーンをトレーニングし、視覚的条件の変化の下でアクション生成のためのより情報的な視覚的コンテキストを提供する。 MT-WAMは、リプラン毎に1回計算されたビデオキャッシュとモーションキャッシュを使用し、将来のビデオ予測をスキップする。 追加の実施済みの事前訓練がなければ、MT-WAMはLIBEROで98.2%、LIBERO-Plusで73.7%を達成し、Fast-WAMを23.8%上回る。 RoboTwin 2.0 Clean2Randでは、ランダムの成功は6.30%から19.40%に増加し、4つの現実世界のタスクで平均成功率は67.0%から77.8%に増加した。

関連論文リスト

• Foresight Without Seeing: Latent Futures for World Action Models [31.423405133926334]
  本稿では,動的条件付き直接政治WAMであるForeWAMを提案する。 また、凍結した潜伏行動教師が指導するダイナミクスを導入し、物体の動きや接触変化、タスクの進行といった相互作用によって引き起こされる遷移を、暗黙の未来の状態が捉えることを奨励する。 ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
  論文  参考訳（メタデータ） (2026-08-12T03:27:43Z)
• ST-WAM: Semantic-Temporal World Action Model for Robust Manipulation under Visual Distribution Shifts [24.959404195743744]
  トレーニング・ディストリビューション・ハロシン化(英語: Training-Distribution Hallucination)とは、現在のシーンに忠実に留まらず、視覚的に変化した観察で条件付けられた未来がトレーニング領域の内容に幻覚を与える現象である。 本稿では,DINOv3 を将来予測と履歴検索のための共有意味表現として用き,詳細なVAE のダイナミクスを維持しつつ,アクションロバスト性を向上させるセマンティック・テンポラル WAM (ST-WAM) を提案する。
  論文  参考訳（メタデータ） (2026-07-31T03:44:56Z)
• UNIVERSE: Unified Video Action Models for Autonomous Driving with Flexible Mask-Modulated Modality Generation [23.675212404889805]
  世界行動モデル(WAM)は、自律運転における行動一般化を改善する強力な可能性を示している。 既存のカスケードまたはデュアルDiTは、アクション予測からビデオイマジネーションを分離する。 マスク変調トランス上に構築された統合ビデオアクションモデルであるUNIVERSEを提案する。
  論文  参考訳（メタデータ） (2026-07-06T14:18:18Z)
• From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
  将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。 我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2026-05-12T14:15:16Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Physical Autoregressive Model for Robotic Manipulation without Action Pretraining [65.8971623698511]
  我々は、自己回帰ビデオ生成モデルを構築し、物理自己回帰モデル(PAR)を提案する。 PARは、アクション事前トレーニングを必要とせず、物理力学を理解するために、ビデオ事前トレーニングに埋め込まれた世界の知識を活用する。 ManiSkillベンチマークの実験は、PARがPushCubeタスクで100%の成功率を達成したことを示している。
  論文  参考訳（メタデータ） (2025-08-13T13:54:51Z)
• Revisiting Feature Prediction for Learning Visual Representations from Video [62.08833572467379]
  V-JEPAは、機能予測の目的のみを用いて訓練された視覚モデルの集合である。 モデルは、公開データセットから収集された200万のビデオに基づいてトレーニングされる。 以上の結果から,映像特徴の予測による学習が視覚表現の多目的化につながることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T18:59:11Z)
• It Takes Two: Masked Appearance-Motion Modeling for Self-supervised Video Transformer Pre-training [76.69480467101143]
  自己監督型ビデオトランスフォーマーの事前トレーニングは、最近マスク・アンド・予測パイプラインの恩恵を受けている。 本稿では,映像中の動きの手がかりを余分な予測対象として明示的に調査し,マスケッド・出現運動モデリングフレームワークを提案する。 一般的なビデオ表現を学習し、Kinects-400で82.3%、Something V2で71.3%、UCF101で91.5%、HMDB51で62.5%を達成する。
  論文  参考訳（メタデータ） (2022-10-11T08:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。