論文の概要: Self-Distilling Future Video Representations for World Action Models

• arxiv url: http://arxiv.org/abs/2610.30320v1
• Date: Wed, 21 Oct 2026 18:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.105789
• Title: Self-Distilling Future Video Representations for World Action Models
• Title（参考訳）: 世界行動モデルのための自己拡張型未来のビデオ表現
• Abstract要約: 時間的文脈を用いた自己拡張による未来表現学習(FRED)について紹介する。 FREDは、WAMをトレーニングして、ノイズから将来のビデオ表現の品質を改善するためのフレームワークである。 様々な現実世界の操作シナリオで競合するWAMよりも一貫して優れています。
• 参考スコア（独自算出の注目度）: 47.77469349149356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: World Action Models (WAMs) have emerged as a promising approach to learning generalist robot policies using rich spatiotemporal priors from pre-trained video diffusion models. A recent line of WAMs improves inference efficiency by conditioning a separate action decoder on intermediate future video representations extracted from a single denoising step, avoiding costly iterative denoising required for video generation. This design makes action prediction depend directly on the quality of these future representations. In this paper, we introduce Future REpresentation learning via self-Distillation with temporal context (FRED), a framework that trains WAMs to improve the quality of future video representations from noise in a single denoising step. Specifically, FRED uses self-distillation to predict future representations from noise, using representations extracted from ground-truth future observations as targets. We further condition the video model on historical observations, providing temporal context for predicting future representations better. Across diverse real-world manipulation scenarios, FRED consistently outperforms competing WAMs. It achieves particularly large gains on long-horizon and out-of-domain tasks under zero-shot environment generalization, and substantially improves human-to-robot skill transfer, reaching 50.0% task success on tasks absent from robot training data and demonstrated only in human videos, compared with 19.4% for the best competing WAM.
• Abstract（参考訳）: World Action Models (WAMs) は、事前訓練されたビデオ拡散モデルから豊富な時空間的事前情報を用いて、汎用ロボットポリシーを学ぶための有望なアプローチとして登場した。 近年のWAMの行は、単一のデノナイジングステップから抽出された中間未来のビデオ表現に対して、分離されたアクションデコーダを条件付けすることにより、推論効率を向上し、ビデオ生成に必要なコストの反復的デノナイジングを回避する。 この設計により、アクション予測はこれらの将来の表現の品質に直接依存する。 本稿では,将来的な映像表現の質を1段階のノイズから改善するフレームワークであるFRED(Self-Distillation with temporal context)について紹介する。 具体的には、FREDは、未来観測から抽出した表現をターゲットとして、ノイズから将来の表現を予測するために自己蒸留を用いる。 さらに、ビデオモデルを歴史的観測に適応させ、将来の表現をより良く予測するための時間的文脈を提供する。 様々な実世界の操作シナリオにおいて、FREDは競合するWAMよりも一貫して優れています。 ゼロショット環境の一般化下での長期タスクやドメイン外タスクにおいて特に大きな進歩を達成し、人間とロボットのスキル伝達を大幅に改善し、ロボットのトレーニングデータから欠落したタスクにおいて50.0%のタスク成功を達成した。

関連論文リスト

• What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling [60.33876128319945]
  世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。 WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。 提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
  論文  参考訳（メタデータ） (2026-09-28T11:56:57Z)
• MoWAM: Explicit Future Motion Prediction for Efficient World Action Models [38.28877145670457]
  MoWAMは、将来の動画生成を明示的な将来の動き予測に置き換える効率的なWAMである。 Mixture-of-Transformerアーキテクチャは、動作と動作を共同で予測しながら、トレーニング中の将来の視覚力学を学習する。 LIBERO, LIBERO-Plus, および実世界の操作タスクの実験により, MoWAMは, 配電性能が向上し, 配電安定性が向上し, より平均的な実世界の成功が得られた。
  論文  参考訳（メタデータ） (2026-09-17T17:07:00Z)
• Foresight Without Seeing: Latent Futures for World Action Models [31.423405133926334]
  本稿では,動的条件付き直接政治WAMであるForeWAMを提案する。 また、凍結した潜伏行動教師が指導するダイナミクスを導入し、物体の動きや接触変化、タスクの進行といった相互作用によって引き起こされる遷移を、暗黙の未来の状態が捉えることを奨励する。 ロボットデータの事前トレーニングがなければ、ForeWAMの標準版と加速版は平均96.7%、LIBEROは96.9%である。
  論文  参考訳（メタデータ） (2026-08-12T03:27:43Z)
• InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization [81.9611022323101]
  本稿では,VQAとサブタスク予測のトレーニングを継続するネイティブVLMバックボーン上にポリシを構築するInternVLA-A1.5について述べる。 将来の予測は、学習可能な予測トークンの小さなセットが、凍結事前学習されたビデオ生成モデルの監督の下で、タスク関連の将来をコンパクトな遅延コードに凝縮する潜時予測問題として再放送される。 InternVLA-A1.5は、1.2Mのロボットエピソードと3Mのマルチモーダルサンプルで事前訓練され、6つのシミュレーションベンチマークで最高の結果を得る。
  論文  参考訳（メタデータ） (2026-07-06T12:25:30Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Learning from Next-Frame Prediction: Autoregressive Video Modeling Encodes Effective Representations [53.91818843831925]
  NExT-Vidは,新しい自己回帰型視覚生成事前学習フレームワークである。 本研究では,文脈分離型自己回帰予測器を導入し,セマンティック表現をターゲットデコーディングから切り離す。 文脈分離型フローマッチング事前学習により,本手法は強い表現を実現する。
  論文  参考訳（メタデータ） (2025-12-24T07:07:08Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• RynnVLA-001: Using Human Demonstrations to Improve Robot Manipulation [39.383510768790295]
  RynnVLA-001は、人間のデモンストレーションから大規模ビデオ生成前訓練に基づいて構築された視覚言語アクション(VLA)モデルである。 最初のステージであるEgo-Centric Video Generative Pretrainingは、12Mのエゴ中心の操作ビデオ上で、画像からビデオまでのモデルを訓練し、初期フレームと言語命令で条件付けられた将来のフレームを予測する。 第2段階であるHuman-Centric Trajectory-Aware Modelingは、将来のキーポイント軌跡を共同で予測することでこれを拡張し、アクション予測による視覚的フレーム予測を効果的にブリッジする。
  論文  参考訳（メタデータ） (2025-09-18T17:58:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。