論文の概要: Rethinking VLM Representation for VLA Initialization

• arxiv url: http://arxiv.org/abs/2605.25802v1
• Date: Mon, 25 May 2026 12:51:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:20.051671
• Title: Rethinking VLM Representation for VLA Initialization
• Title（参考訳）: VLA初期化のためのVLM表現の再考
• Authors: Weifeng Lin, Siyuan Huang, Hao Li, Tingwei Chen, Ruichuan An, Xinyu Wei, Jianbo Liu, Hongsheng Li,
• Abstract要約: Vision-Language-Action(VLA)モデルは、事前訓練されたVision-Language Models(VLM)をポリシーバックボーンとして広く採用している。 事前訓練されたVLM表現がVLA初期化にどのような有用かは、まだ不明である。
• 参考スコア（独自算出の注目度）: 44.662878535366985
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action (VLA) models widely adopt pretrained Vision-Language Models (VLMs) as policy backbones, yet it remains unclear what kind of pretrained VLM representation is useful as a VLA initialization. In this paper, we study VLA initialization as a controlled representation-design problem along three axes: capability-level embodied VQA supervision, parameter-update strategy, and robot-data pretraining. Our experiments show that the original pretrained VLM representation is a key source of action performance. However, embodied VQA adaptation does not yield uniform gains: its benefit depends on downstream bottlenecks, and gains from different capability domains are not simply additive. For update strategy, LoRA provides a more reliable initialization than Full Finetune, indicating that overly reshaping the pretrained representation can weaken VLA initialization. Robot-data pretraining further improves VLA initialization, with the strongest variant obtained by staged LoRA-based training. Together, these findings suggest that effective VLM-to-VLA adaptation should inject action-relevant embodied and robot-trajectory signals while preserving the pretrained VLM representation that remains useful for action learning.
• Abstract（参考訳）: VLA(Vision-Language-Action)モデルでは,プリトレーニング済みのVLM(Vision-Language Models)をポリシーバックボーンとして広く採用しているが,VLAの初期化としてどのようなプリトレーニング済みのVLM表現が有用かは定かではない。 本稿では,VLA初期化を3つの軸に沿って制御された表現設計問題として,能力レベルの具体化VQA監督,パラメータ更新戦略,ロボットデータ事前学習について検討する。 実験の結果,従来のVLM表現は動作性能の重要な源であることがわかった。 しかし、VQAの具現化は、下流のボトルネックに依存し、異なる機能領域からの利得は単に加法的なものではない。 アップデート戦略では、LoRAはFull Finetuneよりも信頼性の高い初期化を提供しており、事前訓練された表現を過度に書き換えることで、VLAの初期化を弱める可能性があることを示している。 ロボットデータの事前学習はVLAの初期化をさらに改善し、最強のバリエーションはLoRAベースの訓練によって得られる。 これらの結果から, VLM-to-VLAの効果的な適応は, 動作学習に有効な訓練済みのVLM表現を保ちながら, 動作関連エンボディとロボット軌道の信号を注入すべきであることが示唆された。

関連論文リスト

• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• DIAL: Decoupling Intent and Action via Latent World Modeling for End-to-End VLA [72.9197085473598]
  DIALはハイレベルな意思決定と低レベルなモーター実行を、差別化可能な潜在意図ボトルネックを通じてブリッジするフレームワークである。 VLMベースのSystem-2は、VLMのネイティブな特徴空間内で、潜伏した視覚的フォレストによって潜伏世界モデリングを行う。 軽量のSystem-1ポリシーでは、この予測された意図と現在の観測結果を正確にロボットの動作にデコードする。
  論文  参考訳（メタデータ） (2026-03-31T15:02:27Z)
• On-the-Fly VLA Adaptation via Test-Time Reinforcement Learning [61.38273866396522]
  ビジョン・ランゲージ・アクションモデルが汎用ロボット学習の強力なパラダイムとして登場した。 現在の手法は、シミュレーションや物理世界の展開に挑戦するには相変わらず適していない。 本稿では,VLA フレームワークのテスト時間強化学習について紹介する。
  論文  参考訳（メタデータ） (2026-01-11T01:51:30Z)
• VLM4VLA: Revisiting Vision-Language-Models in Vision-Language-Action Models [43.09726338623949]
  Vision-Language-Action(VLA)モデルは、事前訓練された大規模なVision-Language Models(VLM)をポリシーバックボーンに統合する。 本稿では、VLMの選択と能力が下流のVLAポリシーのパフォーマンスにどのように変換されるかという、体系的に研究されることは滅多にない。 VLM4VLAは、汎用的なVLMを、学習可能なパラメータの小さなセットのみを用いてVLAポリシーに変換する、最小限の適応パイプラインである。
  論文  参考訳（メタデータ） (2026-01-06T09:58:24Z)
• MAPS: Preserving Vision-Language Representations via Module-Wise Proximity Scheduling for Better Vision-Language-Action Generalization [30.871663465403625]
  我々は、視覚・言語・アクション(VLA)モデルのための、最初の堅牢な微調整フレームワークであるMAPSを紹介する。 系統解析により,安定性と柔軟性のバランスをとるために近接制約を緩和する経験的順序を明らかにする。 MAPSはこの緩和を線形にスケジュールし、視覚エンコーダは事前訓練された事前に近づき、アクション指向の言語層はより自由に適応できる。
  論文  参考訳（メタデータ） (2025-11-25T03:39:37Z)
• Don't Blind Your VLA: Aligning Visual Representations for OOD Generalization [42.41263928527529]
  VLA(Vision-Language-Action)モデルは、伝達可能な世界知識と視覚言語基盤を持つエージェントを支援できる。 しかし、これらのVLMがアクションモダリティに適合している場合、元の視覚的表現や知識がどの程度保存されているかははっきりしない。 本稿では,VLA微調整中の表現保持の系統的研究を行い,行動微調整が視覚的表現の劣化につながることを示す。
  論文  参考訳（メタデータ） (2025-10-29T15:20:10Z)
• VLA-R1: Enhancing Reasoning in Vision-Language-Action Models [35.264042764326895]
  VLA(Vision-Language-Action)モデルは、知覚、言語理解、行動生成を統一することを目的としている。 現在のVLAモデルは、しばしば明示的なステップバイステップ推論を欠いている。 本稿では,検証リワードからの強化学習を統合した推論強化VLAであるVLA-R1を提案する。
  論文  参考訳（メタデータ） (2025-10-02T02:54:03Z)
• Fine-Tuning Vision-Language-Action Models: Optimizing Speed and Success [100.226572152954]
  視覚言語アクションモデル(VLA)のための最適化された微調整レシピを提案する。 われわれのレシピはOpenVLAの4つのタスクスイートの平均成功率を76.5%から97.1%に引き上げ、アクション生成のスループットを26$times$に向上させた。 実世界の評価において、我々の微調整のレシピにより、OpenVLAはバイマガルALOHAロボット上でデクスタラスで高周波な制御タスクをうまく実行することができる。
  論文  参考訳（メタデータ） (2025-02-27T00:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。