論文の概要: La-JEPA: Compact Robot Policies with Latent World Modeling
- arxiv url: http://arxiv.org/abs/2611.08156v1
- Date: Thu, 05 Nov 2026 15:16:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.559727
- Title: La-JEPA: Compact Robot Policies with Latent World Modeling
- Title(参考訳): La-JEPA:ラテンワールドモデリングによる小型ロボット政策
- Abstract要約: 本稿では、ポリシートランスフォーマーをゼロからトレーニングしたコンパクトなワールドアクションモデルであるLa-JEPA(Lalatnt Action JEPA)を紹介する。
La-JEPAは、トレーニング中のアクションと共同で将来の機能を予測することを学び、推論時にのみアクションを生成する。
我々はJEPAがビデオVAE潜伏者よりも優れており、最も明らかに分布外であり、トレーニング時間による将来の予測選択がポリシーに大きく影響していることを示します。
- 参考スコア(独自算出の注目度): 9.770229605339466
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: World-action models adapt pretrained video generators, and vision-language-action models build on pretrained vision-language backbones; both tie policy architecture and inference cost to large transformers designed for generation rather than control. It remains unclear how much these generation-oriented choices affect control. In this work, we introduce Latent Action JEPA (La-JEPA), a compact world-action model whose policy transformer is trained from scratch in the feature space of a pretrained V-JEPA 2.1 encoder. Following Fast-WAM, La-JEPA learns to predict future features jointly with actions during training and generates only actions at inference. Among policies without embodied pretraining, La-JEPA achieves state-of-the-art performance in clean and randomized RoboTwin 2.0 scenes and on LIBERO-Plus with correct instructions, while using far fewer parameters than the strongest competing policies. It runs substantially faster than Fast-WAM at comparable performance and outperforms the closest JEPA-based methods, LeapBot-WA and JEPA-WAM, on LIBERO-Plus and RoboTwin 2.0 without their pretrained policy backbones. On four real-robot tasks, its average success is comparable to pi0.5 and above non-embodied-pretrained baselines. Through a design study of the choices behind La-JEPA, we show that JEPA features outperform video VAE latents, most clearly out of distribution, and that training-time future prediction choices significantly impact the policy even when future prediction is skipped at inference. We correct the LIBERO-Plus instructions, as the officially released evaluator corrupts them for most variants, and re-evaluate several strong open baselines. Without a generative pretrained policy backbone, La-JEPA is better and faster than far larger policies, suggesting that robot foundation models may benefit from architectures designed for control rather than inherited from generation.
- Abstract(参考訳): ワールドアクションモデルは事前訓練されたビデオジェネレータに適応し、ビジョン言語アクションモデルは事前訓練されたビジョン言語バックボーン上に構築される。
これらの世代指向の選択が制御にどの程度影響するかは、まだ不明である。
本研究では,事前訓練したV-JEPA 2.1エンコーダの機能空間において,ポリシトランスフォーマをゼロからトレーニングしたコンパクトなワールドアクションモデルであるLatent Action JEPA(La-JEPA)を紹介する。
Fast-WAMに続いて、La-JEPAは、トレーニング中のアクションと共同で将来の機能を予測することを学び、推論時にのみアクションを生成する。
La-JEPAは事前トレーニングを具現化していないポリシーの中で、クリーンでランダムなRoboTwin 2.0シーンやLIBERO-Plusで最先端の競合ポリシーよりもはるかに少ないパラメータを使用しながら、最先端のパフォーマンスを実現している。
同等のパフォーマンスでFast-WAMよりも大幅に高速に動作し、事前訓練されたポリシーバックボーンなしでLIBERO-PlusとRoboTwin 2.0上で、最も近いJEPAベースのメソッドである LeapBot-WAとJEPA-WAMよりもパフォーマンスがよい。
4つの実ロボットタスクでは、平均的な成功はpi0.5に匹敵する。
La-JEPA の背後にある選択に関する設計研究を通じて,JEPA はビデオ VAE 潜伏者よりも優れており,最も明らかに分布外であるとともに,将来の予測が推論でスキップされた場合でも,トレーニング時の将来の予測選択がポリシーに大きく影響することを示した。
我々はLIBERO-Plus命令を訂正し、公式にリリースされた評価器は、ほとんどの変種に対してそれらを破損させ、いくつかの強力なオープンベースラインを再評価する。
生成済みのポリシーバックボーンがなければ、La-JEPAははるかに大きなポリシーよりも効率的かつ高速であり、ロボット基盤モデルは世代から継承されるのではなく、制御のために設計されたアーキテクチャの恩恵を受ける可能性があることを示唆している。
関連論文リスト
- SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control [3.9209527961817714]
視覚言語アクション(VLA)ポリシーがすでにV-JEPA機能を利用している場合、予測目的が閉ループ制御を改善するかどうかを問う。
JEPA機能なしのポリシーと、現在のJEPAコンディショニング、さらに10,030対のLIBERO-Plusエピソードの今後の監視とを比較します。
現在のJEPA条件は、JEPAなしで約82.5%が成功し、71.6%が成功している。
論文 参考訳(メタデータ) (2026-10-28T09:25:24Z) - RoboJEPA: Scaling Robotic Latent World Models [48.85949821766679]
我々は,JEPA(Joint Embedding Predictive Architecture)に基づく世界モデルRoboJEPAを紹介する。
我々は,RoboJEPAの遅延ロールアウトの誤差であるイマジネーションエラーが,計算における2階の電力法則に従っていることを示し,この法則が適合するスケールを超えるモデル品質を予測できることを示した。
我々は、ロボットエージェントとして、潜伏する世界モデルをゼロショットでデプロイできることを実証し、実際のハードウェア上での長期計画を必要とするタスクを解決するために、単一のゴールイメージを目指して計画している。
論文 参考訳(メタデータ) (2026-10-07T17:54:42Z) - V-JEPA Policy: Building Effective World-Action Models on Predictive Visual Latents [28.145441594584714]
本稿では,凍結したV-JEPA 2.1エンコーダの潜伏空間上にWAMを構築するシンプルなフレームワークであるV-JEPA Policyを紹介する。
命令条件付き未来遅延予測器とフローマッチングアクションエキスパートは、単一の下流ステージでスクラッチから共同で学習する。
0.9Bの総パラメータで0.6Bのトレーニングが可能であり、V-JEPAポリシーは代表的WAMと視覚言語アクションベースラインとの競合性能を達成する。
論文 参考訳(メタデータ) (2026-09-29T11:03:02Z) - Latent evolving World Action Model [58.32634534358966]
世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。
本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。
LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
論文 参考訳(メタデータ) (2026-09-23T07:22:43Z) - WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving [8.510409798128272]
本稿では、自律運転計画のためのVEPAネイティブな世界行動モデルWA-JEPAを提案する。
WA-JEPAは、モデルが観測された文脈から将来の潜伏者を推測する、ハイブリッド・フューチャー・マスク・プレトレーニングを採用している。
結果:WA-JEPAはNAVSIMで91.7Sに達し、最強のエンドツーエンドとワールドアクションベースラインを超えた。
論文 参考訳(メタデータ) (2026-08-21T10:54:35Z) - JEPA-WAM: Learning Vision-Language-Action Policies with Joint-Embedding World Modeling [23.76460420882974]
我々は,事前訓練されたV-JEPA空間に構築された潜水型WAMであるJEPA-WAMを紹介する。
遅延遷移予測と、共有予測器による連続的なアクション生成を結合する。
LIBERO-Plusでは、JEPA-WAMは79.2%を達成し、大規模なロボット政策の事前訓練を行わない最も良い結果となった。
論文 参考訳(メタデータ) (2026-08-10T09:57:54Z) - VLA-JEPA: Enhancing Vision-Language-Action Model with Latent World Model [22.211528017971403]
VLA-JEPAは、インターネットスケールビデオにおけるビジョン・ランゲージ・アクション(VLA)ポリシーのためのJEPAスタイルの事前トレーニングフレームワークである。
VLA-JEPAは、画素空間ではなく潜時空間で予測することにより、カメラモーションに対して堅牢なダイナミックス抽象化を学習する。
LIBERO, LIBERO-Plus, SimplerEnv, および実世界の操作タスクの実験により, VLA-JEPAは既存の手法よりも一般化と堅牢性において一貫した利得が得られることが示された。
論文 参考訳(メタデータ) (2026-02-10T18:58:01Z) - LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。
我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
論文 参考訳(メタデータ) (2025-11-11T18:21:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。