論文の概要: SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control
- arxiv url: http://arxiv.org/abs/2610.38508v1
- Date: Wed, 28 Oct 2026 09:25:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:09.979123
- Title: SaiVLA-JEPA: Evaluating Future Latent Prediction in JEPA-Conditioned VLA Control
- Title(参考訳): SaiVLA-JEPA:JEPA-Conditioned VLA制御における将来遅延予測の評価
- Abstract要約: 視覚言語アクション(VLA)ポリシーがすでにV-JEPA機能を利用している場合、予測目的が閉ループ制御を改善するかどうかを問う。
JEPA機能なしのポリシーと、現在のJEPAコンディショニング、さらに10,030対のLIBERO-Plusエピソードの今後の監視とを比較します。
現在のJEPA条件は、JEPAなしで約82.5%が成功し、71.6%が成功している。
- 参考スコア(独自算出の注目度): 3.9209527961817714
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Joint-embedding predictive architectures (JEPAs) learn to predict representations rather than pixels, offering a compact way to model how visual scenes evolve. We ask whether this predictive objective improves closed-loop control when a vision-language-action (VLA) policy already uses V-JEPA features. We call our JEPA-conditioned flow policy family SaiVLA-JEPA. It combines a vision-language model with a diffusion transformer action expert and receives features from a frozen V-JEPA encoder. Two lightweight auxiliary heads predict future representations during training and are omitted at inference, leaving the action sampler unchanged. We compare policies without JEPA features, with current JEPA conditioning, and with additional future supervision on 10,030 paired LIBERO-Plus episodes. Current JEPA conditioning reaches about 82.5% success versus 71.6% without JEPA, while future supervision provides no detectable aggregate gain at the evaluated training budget. We separately evaluate SaiVLA-JEPA-TCA, which adapts latent context, and SaiVLA-JEPA-TPA, which adapts selected parameters. The context-retry gain is a system-level result under a larger attempt budget; parameter adaptation shows no consistent advantage over the frozen policy and target controls. These results motivate assessing latent-prediction objectives through paired closed-loop rollouts rather than latent loss alone.
- Abstract(参考訳): 共同埋め込み予測アーキテクチャ(JEPA)は、ピクセルではなく表現を予測することを学び、視覚的なシーンの進化をモデル化するためのコンパクトな方法を提供する。
視覚言語アクション(VLA)ポリシーがすでにV-JEPA機能を利用している場合、この予測目的がクローズドループ制御を改善するかどうかを問う。
私たちはJEPA条件のフローポリシーファミリーをSaiVLA-JEPAと呼びます。
視覚言語モデルと拡散トランスフォーマーアクションエキスパートを組み合わせて、凍結したV-JEPAエンコーダから特徴を受け取る。
2つの軽量補助ヘッドは、トレーニング中に将来の表現を予測し、推論時に省略される。
JEPA機能なしのポリシーと、現在のJEPAコンディショニング、さらに10,030対のLIBERO-Plusエピソードの今後の監視とを比較します。
現在のJEPA条件は、JEPAなしで約82.5%が成功し、71.6%が成功している。
潜在文脈に適応するSaiVLA-JEPA-TCAと選択パラメータに適応するSaiVLA-JEPA-TPAを別々に評価した。
コンテクスト-リトライゲインは、より大きな試行予算の下でのシステムレベルの結果であり、パラメータ適応は凍結されたポリシーやターゲットコントロールに対して一貫した優位性を示しない。
これらの結果は,潜時損失のみではなく,ペアの閉ループロールアウトによる潜時予測目標の評価を動機付ける。
関連論文リスト
- Hamiltonian JEPA: Action-Conditioned World Models with an Inherited Control State [49.52703800684483]
ピクセルからの計画には、安定かつ予測可能な潜在空間以上のものが必要である。
統合埋め込み予測アーキテクチャ(JEPA)は、将来の表現を予測することでピクセル再構成を避ける。
我々はこの2つを分離するH-JEPAを紹介する。
論文 参考訳(メタデータ) (2026-09-27T12:05:41Z) - Latent evolving World Action Model [58.32634534358966]
世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。
本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。
LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
論文 参考訳(メタデータ) (2026-09-23T07:22:43Z) - JEPA Policy: Diffusion-Free Imitation Learning via Paired Action and Future Representation Prediction [6.889062419237111]
JEPA Policyは、アクションチャンクとその観測された将来の表現をペア化されたトレーニングターゲットとして使用する、拡散のないフレームワークである。
将来の予測は、アクションを生成するために使われる表現を形作ることができる。
その結果、反復的な生成サンプリングを伴わない低遅延ビズモータ模倣に対する実践的なアプローチとして、ペア・フューチャー・リ表現の監視を支援する。
論文 参考訳(メタデータ) (2026-09-09T02:42:20Z) - Flow-JEPA: Flow Matching for Robust Latent Dynamics in JEPA World Models [18.035166689862205]
JEPA(Joint-Embedding Predictive Architectures)は、コンパクトな予測表現を学習する強力な可能性を示している。
本研究では,現在の観測と動作を条件とした将来の潜伏状態列を共同生成する条件付き流れマッチング力学モデルであるFlow-JEPAを提案する。
論文 参考訳(メタデータ) (2026-08-29T03:40:06Z) - WA-JEPA: Rethinking the Video JEPA Paradigm for World-Action Modeling in Autonomous Driving [8.510409798128272]
本稿では、自律運転計画のためのVEPAネイティブな世界行動モデルWA-JEPAを提案する。
WA-JEPAは、モデルが観測された文脈から将来の潜伏者を推測する、ハイブリッド・フューチャー・マスク・プレトレーニングを採用している。
結果:WA-JEPAはNAVSIMで91.7Sに達し、最強のエンドツーエンドとワールドアクションベースラインを超えた。
論文 参考訳(メタデータ) (2026-08-21T10:54:35Z) - Predictive Objectives Discard Exogenous Control-Relevant Features: A Controlled Mechanistic Study [0.0]
共同埋め込み予測(JEPA)の目的は、将来の潜伏者を予測することによって表現を学ぶことである。
これは、制御関連性よりも時間的予測可能性の最適化が目的であるからである。
報酬ラベル付き遷移の2%がこの機能を回復すると、その効果は2つの環境にまたがることがわかった。
論文 参考訳(メタデータ) (2026-06-29T10:00:50Z) - VJEPA: Variational Joint Embedding Predictive Architectures as Probabilistic World Models [0.0]
EmphVariational JEPA (VJEPA) はテキスト確率論的な一般化であり、変動目的を通して将来の潜伏状態の予測分布を学習する。
VJEPA表現は、画素再構成なしで最適な制御のための十分な情報状態として機能し、崩壊回避の正式な保証を提供する。
我々は、予測的信念を学習力学の専門家とモジュラー事前専門家に分解する拡張であるEmphBayesian JEPA (BJEPA)を提案する。
論文 参考訳(メタデータ) (2026-01-20T18:04:16Z) - LeJEPA: Provable and Scalable Self-Supervised Learning Without the Heuristics [53.247652209132376]
JEPA(Joint-Embedding Predictive Architectures)は、有望な青写真を提供するが、実践的なガイダンスや理論の欠如がアドホックな研究開発につながっている。
我々はJEPAの包括的な理論を示し、それをbf LeJEPAでインスタンス化する。
論文 参考訳(メタデータ) (2025-11-11T18:21:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。