論文の概要: Future Representation Distillation for Imagination-Free World Action Models

• arxiv url: http://arxiv.org/abs/2611.04527v1
• Date: Tue, 03 Nov 2026 08:55:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.763788
• Title: Future Representation Distillation for Imagination-Free World Action Models
• Title（参考訳）: Imagination-Free World Action Modelの今後の表現蒸留
• Abstract要約: 本稿では,プレトレーニングされたビデオ拡散モデルを表現蒸留による予測的視覚エンコーダとして再利用するWAMであるDreamFreeを紹介する。 現実世界とシミュレーションされたタスク全体で、DreamFreeは最先端のVLAやWAMよりも高い成功率を達成する。
• 参考スコア（独自算出の注目度）: 72.372757627257
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World Action Models (WAMs) use the predictive knowledge of pretrained video diffusion models for robot control through future video prediction. However, iterative video denoising is costly, and inaccurate visual predictions can compromise action prediction. Our key idea is to make this predictive knowledge available through visual representations computed from the current observation, enabling action prediction without generating future videos. We introduce DreamFree, a WAM that repurposes a pretrained video diffusion model as a predictive visual encoder through representation distillation. The visual encoder learns to predict a frozen video diffusion model's representation using only the current observation. An action module is then trained to predict actions by extracting action-relevant information from the visual encoder. Across real-world and simulated tasks, DreamFree achieves higher success rates than state-of-the-art VLAs and WAMs, while performing real-time closed-loop control at 11Hz with a 14B video diffusion backbone. Experiments show that DreamFree can translate stronger video priors and additional video data into better robot control and enable learning new robot tasks from video demonstrations, including videos from a different embodiment, without action annotation for the new tasks.
• Abstract（参考訳）: World Action Models (WAM) は、将来のビデオ予測を通じて、ロボット制御のための事前訓練されたビデオ拡散モデルの予測知識を使用する。 しかし、反復的ビデオ復調はコストがかかり、不正確な視覚的予測は行動予測を損なう可能性がある。 私たちのキーとなるアイデアは、現在の観察から計算された視覚的表現を通じて、この予測知識を利用できるようにし、将来のビデオを生成することなくアクション予測を可能にすることです。 本稿では,プレトレーニングされたビデオ拡散モデルを表現蒸留による予測的視覚エンコーダとして再利用するWAMであるDreamFreeを紹介する。 ビジュアルエンコーダは、現在の観測のみを用いて凍結映像拡散モデルの表現を予測する。 アクションモジュールは、視覚エンコーダからアクション関連情報を抽出してアクションを予測するように訓練される。 実世界とシミュレーションタスク全体で、DreamFreeは最先端のVLAやWAMよりも高い成功率を達成する一方で、14Bビデオ拡散バックボーンで11Hzでリアルタイム閉ループ制御を行う。 実験によると、DreamFreeはより強力なビデオの先行と追加のビデオデータをより良いロボット制御に変換し、新しいタスクに対するアクションアノテーションなしで、異なる実施形態のビデオを含むビデオデモから新しいロボットタスクを学ぶことができる。

関連論文リスト

• FloMo: 3D Scene Flow as a World Action Model Intermediate for Learning from Human Video [21.255681124381905]
  FloMoは3Dシーンフローとアクショントークンを予測するために微調整された5Bビデオ生成モデルである。 我々は,ロボット行動に最適な映像事前学習を行う媒体として,密度の高い3Dモーションが重要であると論じている。
  論文  参考訳（メタデータ） (2026-11-03T15:25:35Z)
• CtrlWAM: Controllable World Action Models with Aligned Intent and Foresight [68.8215501687831]
  世界行動モデル(WAM)は、行動(意図)と視覚的未来(展望)を共同で予測する 本稿では,シミュレータで摂動動作を実行するCtrlWAMについて述べる。 運転実験では、より正確なアクション予測、生成されたビデオとアクションの緊密な一致、提供されたコマンドのより良い追従が示される。
  論文  参考訳（メタデータ） (2026-10-01T00:23:01Z)
• World Action Models are Zero-shot Policies [111.91938055103633]
  本稿では,予めトレーニングされたビデオ拡散バックボーン上に構築されたワールドアクションモデル(WAM)であるDreamZeroを紹介する。 ビデオとアクションを共同でモデリングすることで、DreamZeroは異種ロボットデータから多様なスキルを効果的に学習する。 ビデオのみによる他のロボットや人間によるデモは、目に見えないタスクのパフォーマンスに対して42%以上の相対的な改善をもたらす。
  論文  参考訳（メタデータ） (2026-02-17T15:04:02Z)
• Autoregressive Flow Matching for Motion Prediction [14.914156964274897]
  自己回帰フローマッチング(ARFM)は逐次連続データの確率論的モデリングのための新しい手法である。 本研究では,人間とロボットの動作を予測する動作予測モデルの能力を評価するためのベンチマークを開発する。 我々のモデルは複雑な動作を予測することができ、予測された将来のトラック上での条件付きロボットの動作予測と人間の動作予測が下流タスク性能を大幅に改善できることを実証する。
  論文  参考訳（メタデータ） (2025-12-27T19:35:45Z)
• VideoVLA: Video Generators Can Be Generalizable Robot Manipulators [86.70243911696616]
  ロボット操作の一般化は、オープンワールド環境におけるロボットの展開に不可欠である。 本稿では,大容量ビデオ生成モデルをロボットVLAマニピュレータに変換する可能性を探る,シンプルなアプローチであるVideoVLAを提案する。
  論文  参考訳（メタデータ） (2025-12-07T18:57:15Z)
• ViPRA: Video Prediction for Robot Actions [33.310474967770894]
  我々は、アクションレスビデオから連続ロボット制御を学ぶためのフレームワークViPRA(Video Prediction for Robot Actions)を提案する。 アクションを直接予測する代わりに、将来の視覚的観察と動き中心の潜伏行動の両方を予測するためにビデオ言語モデルを訓練する。 下流制御では,潜時動作をロボット固有の連続動作シーケンスにマッピングするチャンクフローマッチングデコーダを導入する。
  論文  参考訳（メタデータ） (2025-11-11T01:33:03Z)
• Unified Video Action Model [47.88377984526902]
  統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。 我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。 広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
  論文  参考訳（メタデータ） (2025-02-28T21:38:17Z)
• Video Creation by Demonstration [59.389591010842636]
  我々は、条件付き将来のフレーム予測によってラベルなしビデオから学習する自己教師型トレーニングアプローチである$delta$-Diffusionを提案する。 映像基盤モデルと外観ボトルネック設計を併用して,実演映像から動作遅延を抽出し,生成プロセスの条件付けを行う。 実証的に、$delta$-Diffusionは人間の好みと大規模マシン評価の両方の観点から、関連するベースラインを上回っている。
  論文  参考訳（メタデータ） (2024-12-12T18:41:20Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。