論文の概要: JEPA-VLA: Video Predictive Embedding is Needed for VLA Models

• arxiv url: http://arxiv.org/abs/2602.11832v1
• Date: Thu, 12 Feb 2026 11:20:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-13 21:07:25.782831
• Title: JEPA-VLA: Video Predictive Embedding is Needed for VLA Models
• Title（参考訳）: JEPA-VLA: VLAモデルにビデオ予測の埋め込みが必要
• Authors: Shangchen Miao, Ningya Feng, Jialong Wu, Ye Lin, Xu He, Dong Li, Mingsheng Long,
• Abstract要約: 我々は、既存の視覚言語モデルに予測埋め込みを適応的に統合する、シンプルで効果的なアプローチであるJEPA-VLAを紹介する。 実験の結果,JEPA-VLAは様々なベンチマークでかなりの性能向上を達成できた。
• 参考スコア（独自算出の注目度）: 45.11882724608595
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent vision-language-action (VLA) models built upon pretrained vision-language models (VLMs) have achieved significant improvements in robotic manipulation. However, current VLAs still suffer from low sample efficiency and limited generalization. This paper argues that these limitations are closely tied to an overlooked component, pretrained visual representation, which offers insufficient knowledge on both aspects of environment understanding and policy prior. Through an in-depth analysis, we find that commonly used visual representations in VLAs, whether pretrained via language-image contrastive learning or image-based self-supervised learning, remain inadequate at capturing crucial, task-relevant environment information and at inducing effective policy priors, i.e., anticipatory knowledge of how the environment evolves under successful task execution. In contrast, we discover that predictive embeddings pretrained on videos, in particular V-JEPA 2, are adept at flexibly discarding unpredictable environment factors and encoding task-relevant temporal dynamics, thereby effectively compensating for key shortcomings of existing visual representations in VLAs. Building on these observations, we introduce JEPA-VLA, a simple yet effective approach that adaptively integrates predictive embeddings into existing VLAs. Our experiments demonstrate that JEPA-VLA yields substantial performance gains across a range of benchmarks, including LIBERO, LIBERO-plus, RoboTwin2.0, and real-robot tasks.
• Abstract（参考訳）: 最近の視覚言語モデル(VLA)は、事前訓練された視覚言語モデル(VLM)に基づいて構築されており、ロボット操作において大幅に改善されている。 しかしながら、現在のVLAは依然としてサンプル効率の低下と限定的な一般化に悩まされている。 本稿では、これらの制限は、環境理解と政策事前の両面において不十分な知識を提供する事前学習された視覚表現という、見過ごされたコンポーネントと密接に結びついていると論じる。 詳細な分析により,VLAの視覚的表現は,言語画像のコントラスト学習やイメージベースの自己教師型学習によって事前訓練されたとしても,重要なタスク関連環境情報の収集や,タスク実行の成功下での環境の進化に関する予測的知識の獲得には不十分であることが判明した。 対照的に,ビデオ,特にV-JEPA 2では,予測不可能な環境要因を柔軟に排除し,タスク関連時間的ダイナミクスを符号化することで,既存の視覚表現の重要な欠点を効果的に補うことができる。 これらの観測に基づいて,既存のVLAに予測埋め込みを適応的に組み込む,シンプルで効果的なアプローチであるJEPA-VLAを紹介する。 実験の結果,JEPA-VLAは,LIBERO,LIBERO+,RoboTwin2.0,実ロボットタスクなど,さまざまなベンチマークにおいて,大幅なパフォーマンス向上を実現していることがわかった。

関連論文リスト

• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization [42.41263928527529]
  VLA(Vision-Language-Action)モデルは、伝達可能な世界知識と視覚言語基盤を持つエージェントを支援できる。 しかし、これらのVLMがアクションモダリティに適合している場合、元の視覚的表現や知識がどの程度保存されているかははっきりしない。 本稿では,VLA微調整中の表現保持の系統的研究を行い,行動微調整が視覚的表現の劣化につながることを示す。
  論文  参考訳（メタデータ） (2025-10-29T15:20:10Z)
• ContextVLA: Vision-Language-Action Model with Amortized Multi-Frame Context [54.58057019521198]
  時間的コンテキストを活用することは、部分的に観察可能なロボットタスクの成功に不可欠である。 動作のクローン化に関する以前の研究は、複数フレームの観測で不整合のパフォーマンス向上を示した。 マルチフレーム観測を効果的に活用することにより、ロボットタスクのパフォーマンスを堅牢に向上するポリシーモデルであるContextVLAを紹介する。
  論文  参考訳（メタデータ） (2025-10-05T15:29:57Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• TinyVLA: Towards Fast, Data-Efficient Vision-Language-Action Models for Robotic Manipulation [32.406783380729024]
  VLA(Vision-Language-Action)モデルは、エンド・ツー・エンドの学習プロセスを通じて、視覚運動制御と命令理解において顕著な可能性を示している。 現在のVLAモデルは、推論中に遅くなり、大量のロボットデータに対して広範な事前トレーニングを必要としているため、重大な課題に直面している。 既存のVLAモデルに対して2つのアドバンテージを提供する,TinyVLAと呼ばれる,コンパクトな視覚言語アクションモデルを導入した。
  論文  参考訳（メタデータ） (2024-09-19T07:10:18Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。