論文の概要: V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents

• arxiv url: http://arxiv.org/abs/2609.37250v1
• Date: Tue, 29 Sep 2026 11:03:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.433527
• Title: V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents
• Title（参考訳）: V-JEPAポリシー:予測型視覚潜伏者による効果的なワールド・アクション・モデルの構築
• Abstract要約: 本稿では,凍結したV-JEPA 2.1エンコーダの潜伏空間上にWAMを構築するシンプルなフレームワークであるV-JEPA Policyを紹介する。 命令条件付き未来遅延予測器とフローマッチングアクションエキスパートは、単一の下流ステージでスクラッチから共同で学習する。 0.9Bの総パラメータで0.6Bのトレーニングが可能であり、V-JEPAポリシーは代表的WAMと視覚言語アクションベースラインとの競合性能を達成する。
• 参考スコア（独自算出の注目度）: 28.145441594584714
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World-action models (WAMs) couple future visual-state prediction with action generation. By adapting video generators or image-editing models pretrained at scale, a prominent line of recent WAMs inherits both predictive knowledge and the models in which it was learned. We ask whether a predictive visual latent space induced by large-scale predictive pretraining can instead provide a sufficient foundation for effective WAM learning without inheriting a complete pretrained visual generative model. To answer this question, we introduce V-JEPA Policy, a simple framework that builds a WAM on the latent space of a frozen V-JEPA 2.1 encoder. An instruction-conditioned future-latent predictor and a flow-matching action expert are jointly learned from scratch in a single downstream stage, with the predictor's future-informed context key--value states conditioning action generation. With 0.9B total parameters, of which 0.6B are trainable, V-JEPA Policy achieves competitive performance with representative WAM and vision-language-action baselines across LIBERO, LIBERO-Plus, and RoboCasa-GR1. Comparing visual foundations under the same downstream framework and training budget identifies V-JEPA latents as more effective than the discriminative, reconstructive, and video-understanding-oriented alternatives, particularly under distribution shifts. Beyond task-specific learning, pretraining the predictor on DROID video--instruction pairs without action labels and adapting it into a WAM yields substantial gains in downstream control and out-of-distribution generalization. Together, these findings establish predictive visual latents as a foundation for effective WAM learning from task-specific demonstrations and for transferring future-modeling knowledge acquired from broader in-the-wild videos. Our code is available at https://github.com/breez3young/VJEPA-Policy.
• Abstract（参考訳）: 世界行動モデル(WAM)は、将来の視覚状態予測とアクション生成を結合する。 ビデオジェネレータや画像編集モデルを大規模に事前訓練することにより、最近のWAMの顕著なラインは、予測知識と学習されたモデルの両方を継承する。 大規模予測事前学習によって引き起こされる予測的視覚潜在空間が、完全に事前学習された視覚生成モデルを継承することなく、効果的なWAM学習のための十分な基盤を提供することができるかどうかを問う。 本稿では,凍結したV-JEPA 2.1エンコーダの潜伏空間上にWAMを構築するシンプルなフレームワークであるV-JEPA Policyを紹介する。 命令条件付き未来遅延予測器とフローマッチングアクションエキスパートは、予測器の将来のインフォームドコンテキストキー-値状態条件付けアクション生成とともに、単一の下流ステージでスクラッチから共同に学習される。 0.9Bの総パラメータで0.6Bのトレーニングが可能であり、V-JEPA Policy は LIBERO、LIBERO-Plus、RoboCasa-GR1 にまたがる代表WAM やビジョン言語アクションベースラインと競合する性能を達成している。 同じ下流の枠組みとトレーニング予算の下で視覚的基盤を比較すると、V-JEPA潜伏者の方が差別的で再構成的で、ビデオ理解指向の代替種よりも効果的である。 タスク固有の学習以外にも、DROIDビデオの予測器をアクションラベルなしで訓練し、WAMに適応することで、下流制御とアウト・オブ・ディストリビューションの一般化においてかなりの利益を得る。 これらの知見は、タスク固有の実演から効果的なWAM学習と、より広い範囲の動画から得られた将来のモデリング知識を伝達するための基盤として、予測的視覚潜在能力を確立した。 私たちのコードはhttps://github.com/breez3young/VJEPA-Policy.comで利用可能です。

関連論文リスト

• Devol-ONE: One Autoregressive Mixture of Transformers to Unify Vision-Language-Action and Latent World Modeling [0.7329200485567826]
  本稿では,視覚言語理解,潜在世界ダイナミクス予測,行動生成をひとつの自己回帰フレームワーク内で統合するトランスフォーマーアーキテクチャであるDevol-ONEを提案する。 LIBERO, LIBERO-PLUS, RoboTwin2.0およびFlexivのシングルアームとデュアルアームの実際の評価を行った。
  論文  参考訳（メタデータ） (2026-09-26T03:35:15Z)
• Latent evolving World Action Model [58.32634534358966]
  世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。 本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。 LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
  論文  参考訳（メタデータ） (2026-09-23T07:22:43Z)
• JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
  我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。 遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。 LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
  論文  参考訳（メタデータ） (2026-08-10T09:57:54Z)
• Vid2WAM: Distilling Video Diffusion Priors into World Action Models [59.28345153395937]
  世界行動モデル(WAM)は、将来の視覚力学とアクションを共同でモデル化することで、ロボットポリシー学習を改善する。 大規模なビデオ基礎モデルからコンパクトなWAM学生へ視覚拡散を先取りするオフライン蒸留フレームワークであるVid2WAMを提案する。 Vid2WAMは、限られた専門家によるデモンストレーションにおいて、新しいタスクの一般化とデータ効率を向上させる。
  論文  参考訳（メタデータ） (2026-08-09T08:02:49Z)
• InternVLA-A1.5: Unifying Understanding, Latent Foresight, and Action for Compositional Generalization [81.9611022323101]
  本稿では,VQAとサブタスク予測のトレーニングを継続するネイティブVLMバックボーン上にポリシを構築するInternVLA-A1.5について述べる。 将来の予測は、学習可能な予測トークンの小さなセットが、凍結事前学習されたビデオ生成モデルの監督の下で、タスク関連の将来をコンパクトな遅延コードに凝縮する潜時予測問題として再放送される。 InternVLA-A1.5は、1.2Mのロボットエピソードと3Mのマルチモーダルサンプルで事前訓練され、6つのシミュレーションベンチマークで最高の結果を得る。
  論文  参考訳（メタデータ） (2026-07-06T12:25:30Z)
• CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
  本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。 本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-07T16:26:33Z)
• Reinforcement Learning with Action-Free Pre-Training from Videos [95.25074614579646]
  本稿では,ビデオにおける生成前学習を通じて動的理解に役立つ表現を学習するフレームワークを提案する。 我々のフレームワークは、視覚に基づく強化学習の最終性能とサンプル効率の両方を著しく改善する。
  論文  参考訳（メタデータ） (2022-03-25T19:44:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。