論文の概要: Turning Video Models into Generalist Robot Policies

• arxiv url: http://arxiv.org/abs/2605.27817v1
• Date: Wed, 27 May 2026 01:21:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-28 17:38:55.667557
• Title: Turning Video Models into Generalist Robot Policies
• Title（参考訳）: 動画モデルをジェネラリストロボットのポリシーに変える
• Authors: Sizhe Lester Li, Evan Kim, Xingjian Bai, Tong Zhao, Tao Pang, Max Simchowitz, Vincent Sitzmann,
• Abstract要約: 本稿では、アクションフリーなビデオワールドモデルと、エンボディメント固有の逆ダイナミクスモデルを組み合わせたビデオ対アクションポリシーを提案する。 以上の結果から,分離されたビデオ計画と忠実なビデオ・ツー・アクション翻訳は,ゼロショット,クロス・エボディメント,一般化可能なロボット制御への代替手段となる可能性が示唆された。
• 参考スコア（独自算出の注目度）: 35.53955978162271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Video generative models have emerged as a promising robotics backbone, capable of generating videos that depict the completion of complex tasks across embodiments and environments. Recent work proposes robot foundation models that jointly predict future observations and actions by finetuning video models with action-labeled data. In this paper, we test the limits of an alternative approach: leave the video planner as-is while training an embodiment-specific inverse dynamics model (IDM). This decoupling offers several natural benefits: the video planner remains embodiment-agnostic, different video models can be interchanged easily without re-training the IDM, and the IDM can be independently trained with readily available self-play data. We present a closed-loop, video-to-action policy that combines an action-free video world model with a carefully-designed IDM based on the robot embodiment Jacobian. We demonstrate that our IDM design is both data-efficient and scalable to high-dimensional action spaces. Our policy, which we coin the Video-to-Embodied Robot Action Model (VERA), achieves strong performance across simulated and real-world benchmarks, including zero-shot Panda arm manipulation and 16-DoF Allegro-hand dexterous cube re-orientation. The same video planner can be used across multiple embodiments by pairing it with different embodiment-specific IDMs. Our results show that decoupled video planning plus faithful video-to-action translation is a viable alternative route towards zero-shot, cross-embodiment, and generalizable robot control. More results are available on our project website: https://vera.csail.mit.edu.
• Abstract（参考訳）: ビデオ生成モデルは有望なロボティクスのバックボーンとして登場し、エボディメントや環境にまたがる複雑なタスクの完了を描写したビデオを生成する。 近年の研究では、アクションラベル付きデータを用いて映像モデルを微調整することにより、将来の観察と行動を予測するロボット基盤モデルを提案する。 本稿では, エンボディメント固有の逆動力学モデル (IDM) を訓練しながら, ビデオプランナーをそのまま残すという, 代替手法の限界をテストする。 ビデオプランナは具体化に依存しないままであり、異なるビデオモデルはIMMを再トレーニングすることなく容易に交換でき、IMMは簡単に利用可能なセルフプレイデータで独立して訓練することができる。 本稿では,アクションフリーなビデオワールドモデルとロボットエンボディメントヤコビアンに基づく慎重に設計されたIMMを組み合わせたクローズドループ・ビデオ・ツー・アクションポリシーを提案する。 IDM設計はデータ効率が高く,高次元のアクション空間にも拡張性があることを実証する。 我々は,ビデオ・トゥ・エンボディード・ロボット・アクション・モデル (VERA) と命名し,ゼロショット・パンダアーム操作や16-DoFアレッグロ・ハンド・デキスタス・キューブ・リオリエンテーションなど,シミュレーションおよび実世界のベンチマークで高い性能を達成している。 同じビデオプランナーは、異なるエンボディメント固有のIMMと組み合わせることで、複数のエンボディメントにまたがって使用することができる。 以上の結果から,分離されたビデオ計画と忠実なビデオ・ツー・アクション翻訳は,ゼロショット,クロス・エボディメント,一般化可能なロボット制御への代替手段となる可能性が示唆された。 さらなる結果は、プロジェクトのWebサイト(https://vera.csail.mit.edu)で公開されています。

関連論文リスト

• GEM-4D: Geometry-Enhanced Video World Models for Robot Manipulation [72.52773248997929]
  ビデオワールドモデルは、1つの命令から現実的な未来を生成できるが、時間とともに一貫したポイントレベルの動きを維持できないことが多い。 GEM-4Dは、トレーニング中にビデオ生成バックボーンに高密度な4D対応制御を注入する幾何学的地上ビデオワールドモデルである。 Inverse dynamicsモジュールは、対応性のあるビデオロールアウトを実行可能なロボットトラジェクトリに変換し、現実世界とシミュレーション操作の両方で直接デプロイできる。
  論文  参考訳（メタデータ） (2026-05-20T21:36:44Z)
• Action Images: End-to-End Policy Learning via Multiview Video Generation [70.67042168383638]
  我々は、ポリシー学習をマルチビュービデオ生成として定式化する統合世界アクションモデルであるAction Imagesを提案する。 本モデルでは,従来のビデオ空間モデルに比べて,最強のゼロショット成功率を実現し,ビデオアクションジョイント生成品質を向上させる。
  論文  参考訳（メタデータ） (2026-04-07T17:59:30Z)
• Large Video Planner Enables Generalizable Robot Control [117.49024534548319]
  汎用ロボットは、様々なタスクや環境にまたがって一般化する意思決定モデルを必要とする。 最近の研究は、マルチモーダル大言語モデル(LM)をアクション出力で拡張し、視覚-アクション(VLA)システムを構築することで、ロボット基盤モデルを構築している。 本稿では,ロボット基礎モデル構築における主要なモダリティとして,大規模ビデオ事前学習を用いるための代替パラダイムについて検討する。
  論文  参考訳（メタデータ） (2025-12-17T18:35:54Z)
• Robotic Manipulation by Imitating Generated Videos Without Physical Demonstrations [19.28925489415787]
  RIGVidは、AI生成ビデオの模倣により、ロボットが複雑な操作タスクを実行できる。 ビデオ拡散モデルは潜在的なデモビデオを生成し、視覚言語モデルはコマンドに従わない結果を自動的にフィルタリングする。 6Dポーズトラッカーは、ビデオからオブジェクトの軌跡を抽出し、その軌跡をエンボディメント非依存の方法でロボットに再ターゲティングする。
  論文  参考訳（メタデータ） (2025-07-01T17:39:59Z)
• Unified Video Action Model [47.88377984526902]
  統合されたビデオとアクションモデルは、アクション予測のためのリッチなシーン情報を提供するロボット工学にとって重要な約束である。 我々は,映像とアクションの予測を協調的に最適化し,高精度かつ効率的なアクション推論を実現するUnified Video Action Model (UVA)を提案する。 広範な実験により、UVAは幅広いロボティクスタスクの汎用的なソリューションとして機能できることが実証された。
  論文  参考訳（メタデータ） (2025-02-28T21:38:17Z)
• VILP: Imitation Learning with Latent Video Planning [19.25411361966752]
  本稿では、遅延ビデオ計画(VILP)による模倣学習を紹介する。 複数のビューから高度にタイムアラインなビデオを生成することができる。 本稿では,映像生成モデルをロボットポリシーに効果的に統合する方法の実践例を提供する。
  論文  参考訳（メタデータ） (2025-02-03T19:55:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。