論文の概要: Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization

• arxiv url: http://arxiv.org/abs/2510.25616v1
• Date: Wed, 29 Oct 2025 15:20:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-30 15:50:45.787369
• Title: Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization
• Title（参考訳）: VLAをブラインドするな - OODの一般化のための視覚表現の調整
• Authors: Nikita Kachaev, Mikhail Kolosov, Daniil Zelezetsky, Alexey K. Kovalev, Aleksandr I. Panov,
• Abstract要約: VLA(Vision-Language-Action)モデルは、伝達可能な世界知識と視覚言語基盤を持つエージェントを支援できる。 しかし、これらのVLMがアクションモダリティに適合している場合、元の視覚的表現や知識がどの程度保存されているかははっきりしない。 本稿では,VLA微調整中の表現保持の系統的研究を行い,行動微調整が視覚的表現の劣化につながることを示す。
• 参考スコア（独自算出の注目度）: 42.41263928527529
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growing success of Vision-Language-Action (VLA) models stems from the promise that pretrained Vision-Language Models (VLMs) can endow agents with transferable world knowledge and vision-language (VL) grounding, laying a foundation for action models with broader generalization. Yet when these VLMs are adapted to the action modality, it remains unclear to what extent their original VL representations and knowledge are preserved. In this work, we conduct a systematic study of representation retention during VLA fine-tuning, showing that naive action fine-tuning leads to degradation of visual representations. To characterize and measure these effects, we probe VLA's hidden representations and analyze attention maps, further, we design a set of targeted tasks and methods that contrast VLA models with their counterpart VLMs, isolating changes in VL capabilities induced by action fine-tuning. We further evaluate a range of strategies for aligning visual representations and introduce a simple yet effective method that mitigates degradation and yields improved generalization to out-of-distribution (OOD) scenarios. Taken together, our analysis clarifies the trade-off between action fine-tuning and the degradation of VL representations and highlights practical approaches to recover inherited VL capabilities. Code is publicly available: https://blind-vla-paper.github.io
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルの成功は、事前訓練されたVision-Language Models(VLM)が、伝達可能な世界知識と視覚言語(VL)基盤を持つエージェントを授け、より広範な一般化を伴うアクションモデルの基礎を築いたことに由来する。 しかし、これらの VLM が作用モダリティに適合する場合、元の VL 表現と知識がどの程度保存されているかははっきりしない。 本研究では,VLAファインチューニングにおける表現保持の系統的研究を行い,視覚的表現の低下につながる素質的な動作の微調整を示す。 これらの効果を特徴付け,評価するために,VLAの隠れ表現を探索し,注意マップを解析し,さらに,VLAモデルとVLMを対比する一連のタスクや手法を設計し,アクション微調整によって誘発されるVL能力の変化を分離する。 さらに、視覚的表現の整合を図り、分解を軽減し、アウト・オブ・ディストリビューション(OOD)シナリオへの一般化を向上する、シンプルで効果的な方法を提案する。 本稿では, 動作微調整とVL表現の劣化のトレードオフを明らかにし, 継承されたVL能力を回復するための実践的アプローチを強調した。 コードは https://blind-vla-paper.github.io で公開されている。

関連論文リスト

• JEPA-VLA: Video Predictive Embedding is Needed for VLA Models [45.11882724608595]
  我々は、既存の視覚言語モデルに予測埋め込みを適応的に統合する、シンプルで効果的なアプローチであるJEPA-VLAを紹介する。 実験の結果,JEPA-VLAは様々なベンチマークでかなりの性能向上を達成できた。
  論文  参考訳（メタデータ） (2026-02-12T11:20:43Z)
• VISTA: Enhancing Visual Conditioning via Track-Following Preference Optimization in Vision-Language-Action Models [26.542479606920423]
  VLA(Vision-Language-Action)モデルは、幅広いロボット操作タスクにおいて強力なパフォーマンスを示している。 成功にもかかわらず、大きな事前訓練されたVLAモデルをアクション空間に拡張することで、視覚-アクションのミスアライメントを誘発することができる。 VLAモデルにおける視覚的条件付けを明確に強化するトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-02-04T20:59:29Z)
• Vision-Language Models Unlock Task-Centric Latent Actions [75.53481518882275]
  本稿では、視覚言語モデル(VLM)の常識推論能力を利用して、迅速な表現を実現することを提案する。 そこで本研究では,VLMに障害を無視するよう求めれば,遅延動作の質が大幅に向上し,解離メタワールドにおける下流の成功率が最大6倍に向上することを示す。
  論文  参考訳（メタデータ） (2026-01-30T08:38:59Z)
• Youtu-VL: Unleashing Visual Potential via Unified Vision-Language Supervision [79.06371915084833]
  本稿では,VLUAS(Vision-Language Unified Autoregressive Supervision)パラダイムを活用するフレームワークであるYoutu-VLを紹介する。 Youtu-VLは視覚的詳細と言語的内容の両方に統一的な自己回帰的監督を適用している。 我々は、このパラダイムを視覚中心のタスクに拡張し、標準のVLMがタスク固有の追加なしで視覚中心のタスクを実行できるようにした。
  論文  参考訳（メタデータ） (2026-01-27T17:01:16Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Focusing on What Matters: Object-Agent-centric Tokenization for Vision Language Action models [8.452688845632995]
  我々は,視覚・言語・アクション(VLA)モデルのためのオブジェクト・エージェント中心のトークン化であるOat-VLAを提案する。 Oat-VLAは、パフォーマンスを犠牲にすることなく、視覚トークンの数をわずかに減らすことができる。 我々は,Oat-VLA が LIBERO スイート上で OpenVLA の少なくとも2倍の速度で収束していることを明らかにする。
  論文  参考訳（メタデータ） (2025-09-28T05:42:53Z)
• Unified Vision-Language-Action Model [86.68814779303429]
  我々は、視覚、言語、行動信号を離散トークンシーケンスとして自動回帰モデル化する、統一的でネイティブなマルチモーダルVLAモデルUniVLAを提案する。 提案手法は, CALVIN, LIBERO, Simplenv-Bridge など, 広く使用されているシミュレーションベンチマークにまたがって, 最新の結果を設定する。 さらに、現実世界のALOHA操作と自律運転に適用可能であることを実証する。
  論文  参考訳（メタデータ） (2025-06-24T17:59:57Z)
• CoT-VLA: Visual Chain-of-Thought Reasoning for Vision-Language-Action Models [89.44024245194315]
  視覚言語行動モデル(VLA)に明示的な視覚連鎖(CoT)推論を組み込む手法を提案する。 視覚およびアクショントークンの理解と生成が可能な最先端の7B VLAであるCoT-VLAを紹介する。 実験の結果,CoT-VLAは実世界の操作タスクでは17%,シミュレーションベンチマークでは6%,最先端のVLAモデルでは6%,高い性能を示した。
  論文  参考訳（メタデータ） (2025-03-27T22:23:04Z)
• UP-VLA: A Unified Understanding and Prediction Model for Embodied Agent [14.089700378708756]
  textbfUP-VLA, textbfUnified VLA model training with multi-modal textbfUnderstanding and future textbfPrediction objectives。 UP-VLAはCalvin ABC-Dベンチマークの33%の改善を実現している。
  論文  参考訳（メタデータ） (2025-01-31T03:20:09Z)
• Vision Language Models are In-Context Value Learners [89.29486557646624]
  本稿では、視覚言語モデル(VLM)に埋め込まれた世界的知識を活用してタスクの進捗を予測する普遍的価値関数推定器である生成価値学習(GVL)を提案する。 ロボットやタスク固有のトレーニングがなければ、GVLは300以上の異なる現実世界のタスクに対して、ゼロショットと数ショットの効果的な値をインコンテキストで予測することができる。
  論文  参考訳（メタデータ） (2024-11-07T09:17:50Z)
• PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models [127.17675443137064]
  PEVLを導入し、明示的なオブジェクト位置モデリングによる視覚言語モデルの事前学習と迅速なチューニングを促進する。 PEVLは、統一言語モデリングフレームワークにおいて、離散化されたオブジェクトの位置と言語を再構成する。 PEVLは,表現理解や句の接頭など,位置感性のあるタスクに対して,最先端のパフォーマンスを実現することができることを示す。
  論文  参考訳（メタデータ） (2022-05-23T10:17:53Z)
• VinVL: Revisiting Visual Representations in Vision-Language Models [96.39332942534368]
  画像のオブジェクト中心表現を提供するための改良されたオブジェクト検出モデルを開発した。 新しい視覚機能は、すべての視覚言語(VL)タスクのパフォーマンスを大幅に改善する。 新しいオブジェクト検出モデルを公開します。
  論文  参考訳（メタデータ） (2021-01-02T23:35:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。