論文の概要: Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations

• arxiv url: http://arxiv.org/abs/2412.14803v2
• Date: Sun, 04 May 2025 04:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 14:44:43.837812
• Title: Video Prediction Policy: A Generalist Robot Policy with Predictive Visual Representations
• Title（参考訳）: 映像予測政策 : 予測的視覚表現を用いた汎用ロボット政策
• Abstract要約: ビデオ拡散モデル(VDM)は、将来のフレームを予測し、物理的な世界を強く理解する能力を示す。 本稿では,VDM内の将来予測表現を条件とした暗黙的逆ダイナミクスモデル(VPP)を学習するビデオ予測ポリシーを提案する。 VPPはCalvin ABC-Dの一般化ベンチマークを18.6%改善した。
• 参考スコア（独自算出の注目度）: 19.45821593625599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Visual representations play a crucial role in developing generalist robotic policies. Previous vision encoders, typically pre-trained with single-image reconstruction or two-image contrastive learning, tend to capture static information, often neglecting the dynamic aspects vital for embodied tasks. Recently, video diffusion models (VDMs) demonstrate the ability to predict future frames and showcase a strong understanding of physical world. We hypothesize that VDMs inherently produce visual representations that encompass both current static information and predicted future dynamics, thereby providing valuable guidance for robot action learning. Based on this hypothesis, we propose the Video Prediction Policy (VPP), which learns implicit inverse dynamics model conditioned on predicted future representations inside VDMs. To predict more precise future, we fine-tune pre-trained video foundation model on robot datasets along with internet human manipulation data. In experiments, VPP achieves a 18.6\% relative improvement on the Calvin ABC-D generalization benchmark compared to the previous state-of-the-art, and demonstrates a 31.6\% increase in success rates for complex real-world dexterous manipulation tasks. Project page at https://video-prediction-policy.github.io
• Abstract（参考訳）: 視覚表現は、汎用的なロボットポリシーの開発において重要な役割を担っている。 従来の視覚エンコーダは、通常、シングルイメージの再構成や2イメージのコントラスト学習で事前訓練され、静的情報をキャプチャする傾向があり、多くの場合、具体的タスクに不可欠な動的な側面を無視する。 近年,映像拡散モデル (VDM) は将来のフレームの予測能力を示し,物理世界に対する深い理解を示す。 我々は、VDMが本質的に現在の静的情報と予測される将来のダイナミクスの両方を含む視覚表現を生成し、ロボット行動学習のための貴重なガイダンスを提供すると仮定する。 この仮説に基づいて,VDM内の予測未来表現を前提とした暗黙的逆ダイナミクスモデルを学習するビデオ予測ポリシー(VPP)を提案する。 より正確な未来を予測するため、ロボットデータセットとインターネットによる人間の操作データに基づいて、事前訓練されたビデオ基盤モデルを微調整する。 実験では、VPPは従来の最先端技術と比較してCalvin ABC-Dの一般化ベンチマークにおいて18.6%の相対的な改善を達成し、複雑な実世界のデクサラスな操作タスクにおける成功率を31.6倍に向上させることを示した。 Project page at https://video-prediction-policy.github.io

関連論文リスト

• DeVA: Decoupled Video-Action Model with physical guidance for robot policy learning [28.673173377342593]
  一般的なロボット操作は、言語命令を実行しながら視覚シーンがどのように進化するかを予測するポリシーを必要とする。 DeVAはDecoupled Video-Actionモデルであり、特殊ビデオとアクションの専門家、多レベル機能転送、物理的ガイダンスを備えている。 シミュレーションベンチマークと実世界のデプロイの両方の実験では、限られたデータによる強力なパフォーマンス、統一アーキテクチャよりも高速な収束、物理的ガイダンスによるパフォーマンス向上が示されている。
  論文  参考訳（メタデータ） (2026-07-27T08:37:35Z)
• Video Generation Models are General-Purpose Vision Learners [62.28137589984863]
  我々は、大規模なテキスト・ビデオ生成がコンピュータビジョンのための強力な事前学習パラダイムであると主張している。 我々は、予め訓練されたビデオ拡散バックボーンを利用してフィードフォワード知覚モデルを定義するGenCeptionを紹介する。 実証的な結果から、GenCeptionは様々なタスクで最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-07-10T01:09:06Z)
• InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization [81.9611022323101]
  本稿では,VQAとサブタスク予測のトレーニングを継続するネイティブVLMバックボーン上にポリシを構築するInternVLA-A1.5について述べる。 将来の予測は、学習可能な予測トークンの小さなセットが、凍結事前学習されたビデオ生成モデルの監督の下で、タスク関連の将来をコンパクトな遅延コードに凝縮する潜時予測問題として再放送される。 InternVLA-A1.5は、1.2Mのロボットエピソードと3Mのマルチモーダルサンプルで事前訓練され、6つのシミュレーションベンチマークで最高の結果を得る。
  論文  参考訳（メタデータ） (2026-07-06T12:25:30Z)
• From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
  人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。 この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。 この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
  論文  参考訳（メタデータ） (2026-05-18T06:19:16Z)
• Disentangled Robot Learning via Separate Forward and Inverse Dynamics Pretraining [28.30092786035367]
  DeFIはビジュアルフォワードと逆ダイナミクスを分離し、各データソースを利用するための新しいフレームワークである。 今後の予測のために,多種多様な人・ロボットビデオで事前訓練された一般フォワード・ダイナミクス・モデル(GFDM)と,ラベルなしビデオ遷移から潜伏行動を予測するための自己教師付き学習によって訓練された一般逆ダイナミクス・モデル(GIDM)を紹介する。 CALVIN ABC-D と SimplerEnv の実験では、DeFI は CALVIN の平均タスク長 4.51 に達し、SimplerEnv-Frac は 51.2% 成功した。
  論文  参考訳（メタデータ） (2026-03-27T17:20:10Z)
• GigaWorld-Policy: An Efficient Action-Centered World--Action Model [50.107640832046464]
  GigaWorld-Policyはアクション中心のWAMで、2Dピクセルアクションのダイナミクスを学習し、オプションのビデオ生成で効率的なアクションデコーディングを可能にする。 実世界のロボットプラットフォームでの実験結果によると、GigaWorld-Policyは主要なWAMベースラインであるMotusの9倍高速で動作する。
  論文  参考訳（メタデータ） (2026-03-18T00:52:02Z)
• Learning Physics from Pretrained Video Models: A Multimodal Continuous and Sequential World Interaction Models for Robotic Manipulation [63.04810454548667]
  我々は、ロボット操作タスクを解決するために、スケーラブルで連続的かつシーケンシャルな世界インタラクションフレームワークであるPhysGenを紹介した。 トレーニング済みのビデオモデルを物理シミュレーターのプロキシとして扱うことで、PhysGenは外部環境とロボット動作の間の動的相互作用をモデル化する。 本稿では,映像とアクションを共有物理トークンに統合し,離散映像生成と連続ロボット制御のギャップを埋めるマルチモーダル連続表現を提案する。
  論文  参考訳（メタデータ） (2026-02-18T14:58:18Z)
• mimic-video: Video-Action Models for Generalizable Robot Control Beyond VLAs [5.109732854501585]
  そこで我々は,事前学習したインターネットスケールのビデオモデルと,その潜在表現に条件付けされたフローマッチングに基づくアクションデコーダを組み合わせた,新しいビデオ・アクション・モデル(VAM)を提案する。 提案手法は,シミュレーションおよび実世界のロボット操作タスクにおける最先端性能を実現し,サンプル効率を10倍,収束速度を2倍向上させる。
  論文  参考訳（メタデータ） (2025-12-17T18:47:31Z)
• VideoVLA: Video Generators Can Be Generalizable Robot Manipulators [86.70243911696616]
  ロボット操作の一般化は、オープンワールド環境におけるロボットの展開に不可欠である。 本稿では,大容量ビデオ生成モデルをロボットVLAマニピュレータに変換する可能性を探る,シンプルなアプローチであるVideoVLAを提案する。
  論文  参考訳（メタデータ） (2025-12-07T18:57:15Z)
• DynaRend: Learning 3D Dynamics via Masked Future Rendering for Robotic Manipulation [52.136378691610524]
  本稿では、3次元認識と動的インフォームド三面体特徴を学習する表現学習フレームワークDynaRendを紹介する。 マルチビューRGB-Dビデオデータに基づく事前トレーニングにより、DynaRendは空間幾何学、将来のダイナミクス、タスク意味を統合された三面体表現で共同でキャプチャする。 我々は、RLBenchとColosseumという2つの挑戦的なベンチマークでDynaRendを評価し、政策成功率、環境摂動の一般化、様々な操作タスクにおける実世界の適用性などを大幅に改善した。
  論文  参考訳（メタデータ） (2025-10-28T10:17:11Z)
• UniCoD: Enhancing Robot Policy via Unified Continuous and Discrete Representation Learning [22.84748754972181]
  オープンエンド環境で多様なタスクを処理できる汎用的なロボットポリシーを構築することは、ロボット工学における中心的な課題である。 大規模な事前学習から知識を活用するために、以前の研究は一般的に視覚言語理解モデル(VLM)または生成モデルの上に一般的なポリシーを構築してきた。 最近の生成と理解の統一モデルは、大規模な事前学習を通じて、理解と生成の両方において強力な能力を示している。 そこで,UniCoDを導入し,100万以上のインターネット規模の操作映像を事前学習することで,高次元視覚特徴を動的にモデル化する機能を実現する。
  論文  参考訳（メタデータ） (2025-10-12T14:54:19Z)
• AMPLIFY: Actionless Motion Priors for Robot Learning from Videos [29.799207502031496]
  AMPLIFYは,大規模ビデオデータを活用する新しいフレームワークである。 我々は、豊富なアクションフリービデオでフォワードダイナミクスモデルを訓練し、限られたアクションラベル付き例で逆ダイナミクスモデルを訓練する。 下流の政策学習において、我々のダイナミクス予測は、低データのレシエーションにおいて1.2-2.2倍の改善を実現し、アクションフリーなヒューマンビデオから学ぶことで平均1.4倍の改善を実現し、非配布アクションデータからLIBEROタスクへの第1次一般化を可能にした。
  論文  参考訳（メタデータ） (2025-06-17T05:31:42Z)
• Prediction with Action: Visual Policy Learning via Joint Denoising Process [14.588908033404474]
  PADは、画像予測とロボットアクションを統合する視覚ポリシー学習フレームワークである。 DiTは画像とロボット状態をシームレスに統合し、将来の画像とロボット動作の同時予測を可能にする。 Padは従来の手法よりも優れており、Metaworldのベンチマークで26.3%の大幅な改善を実現している。
  論文  参考訳（メタデータ） (2024-11-27T09:54:58Z)
• VidMan: Exploiting Implicit Dynamics from Video Diffusion Model for Effective Robot Manipulation [79.00294932026266]
  VidManは、安定性を高め、データ利用効率を向上させるために、2段階のトレーニングメカニズムを使用する新しいフレームワークである。 我々のフレームワークは、CALVINベンチマークで最先端のベースラインモデルGR-1を上回り、11.7%の相対的な改善を実現し、OXEの小規模データセットで9%以上の精度向上を示す。
  論文  参考訳（メタデータ） (2024-11-14T03:13:26Z)
• Pre-trained Visual Dynamics Representations for Efficient Policy Learning [33.62440075940917]
  本稿では,ビデオと下流タスク間の領域ギャップを埋めて効率的なポリシー学習を実現するために,事前学習型ビジュアルダイナミクス表現(PVDR)を提案する。 事前訓練された視覚力学表現は、ビデオの知識以前の視覚力学をキャプチャする。 この抽象的な事前知識は、ダウンストリームタスクに容易に適応でき、オンライン適応を通じて実行可能なアクションと整合することができる。
  論文  参考訳（メタデータ） (2024-11-05T15:18:02Z)
• Object-Centric Temporal Consistency via Conditional Autoregressive Inductive Biases [69.46487306858789]
  Conditional Autoregressive Slot Attention (CA-SA) は、ビデオ中心の視覚タスクにおいて抽出されたオブジェクト中心の表現の時間的一貫性を高めるフレームワークである。 本稿では,提案手法が下流タスクのベースラインよりも優れていることを示す定性的,定量的な結果を示す。
  論文  参考訳（メタデータ） (2024-10-21T07:44:44Z)
• ViViDex: Learning Vision-based Dexterous Manipulation from Human Videos [81.99559944822752]
  我々は人間のビデオから視覚に基づくポリシー学習を改善するためにViViDexを提案する。 最初は強化学習と軌道誘導報酬を使って、各ビデオに対する州ベースのポリシーを訓練する。 次に、州ベースのポリシーから成功したエピソードをロールアウトし、特権情報を使用しずに統一された視覚ポリシーをトレーニングします。
  論文  参考訳（メタデータ） (2024-04-24T07:58:28Z)
• Predicting Long-horizon Futures by Conditioning on Geometry and Time [49.86180975196375]
  我々は,過去を前提とした将来のセンサ観測の課題を探求する。 マルチモーダリティを扱える画像拡散モデルの大規模事前学習を活用する。 我々は、屋内と屋外のシーンにまたがる多様なビデオのセットについて、ビデオ予測のためのベンチマークを作成する。
  論文  参考訳（メタデータ） (2024-04-17T16:56:31Z)
• What Makes Pre-Trained Visual Representations Successful for Robust Manipulation? [57.92924256181857]
  照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。 創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
  論文  参考訳（メタデータ） (2023-11-03T18:09:08Z)
• Policy Pre-training for End-to-end Autonomous Driving via Self-supervised Geometric Modeling [96.31941517446859]
  PPGeo (Policy Pre-training via Geometric Modeling) は,視覚運動運転における政策事前学習のための,直感的かつ直接的な完全自己教師型フレームワークである。 本研究では,大規模な未ラベル・未校正動画の3次元幾何学シーンをモデル化することにより,ポリシー表現を強力な抽象化として学習することを目的とする。 第1段階では、幾何モデリングフレームワークは、2つの連続したフレームを入力として、ポーズと深さの予測を同時に生成する。 第2段階では、視覚エンコーダは、将来のエゴモーションを予測し、現在の視覚観察のみに基づいて測光誤差を最適化することにより、運転方針表現を学習する。
  論文  参考訳（メタデータ） (2023-01-03T08:52:49Z)
• T3VIP: Transformation-based 3D Video Prediction [49.178585201673364]
  本稿では,シーンを対象部品に分解することで3次元動きを明示的にモデル化する3次元映像予測手法を提案する。 我々のモデルは、完全に教師なしであり、現実世界の性質を捉え、画像と点のクラウド領域における観察の手がかりがその学習信号を構成する。 我々の知る限り、我々のモデルは、静止カメラの未来をRGB-Dビデオで予測する最初の生成モデルである。
  論文  参考訳（メタデータ） (2022-09-19T15:01:09Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)
• Future Frame Prediction for Robot-assisted Surgery [57.18185972461453]
  本稿では,ロボット手術用ビデオシーケンスにおけるフレーム予測のためのtpg-vaeモデルを提案する。 コンテンツ配信に加えて、私たちのモデルは、手術ツールの小さな動きを処理するために斬新な運動分布を学習します。
  論文  参考訳（メタデータ） (2021-03-18T15:12:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。