論文の概要: Controlling Action-Head Co-Adaptation to VLM Representation Anisotropy

• arxiv url: http://arxiv.org/abs/2611.04006v1
• Date: Mon, 02 Nov 2026 21:49:40 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-04 17:41:18.613316
• Title: Controlling Action-Head Co-Adaptation to VLM Representation Anisotropy
• Title（参考訳）: VLM表現異方性に対するアクションヘッド共適応の制御
• Abstract要約: 我々は、下流モデルが事前学習された表現の幾何学にどのように適応するかを研究する。 本稿では, パラメータフリー機構であるEmph Interface Equalizer(AdaIE)を導入し, 下流感度の上昇に応じて事前学習した表現を重み付けする。
• 参考スコア（独自算出の注目度）: 19.721953760697424
• License:
• Abstract: Modern learning systems increasingly combine pretrained models with downstream heads. Despite the growing importance of such modular designs, how the downstream model co-adapts to the geometry of pretrained representations remains relatively underexplored. We study this problem through vision-language-action models (VLAs), where a pretrained vision-language model (VLM) conditions an action model for control. We find that the action model progressively concentrates its sensitivity on high-variance dimensions of the VLM outputs. Through controlled experiments across different backbone-head models, we further show that counteracting this sensitivity concentration can be beneficial under representation--task mismatch settings. Motivated by these observations, we introduce \emph{Adaptive Interface Equalizer} (AdaIE), a parameter-free mechanism that reweights pretrained representations according to the evolving downstream sensitivity during training. AdaIE improves VLA success rates on simulation benchmarks, with gains of up to $+5.28$ percentage points (pp) on RoboCasa-GR1 and $+1.68$ pp on RoboTwin 2.0, and achieves an average gain of $+19$ pp across five real-world manipulation tasks. It further generalizes to diffusion policies and world models, improving downstream performance in both settings. Our results highlight interface co-adaptation as an important optimization problem when coupling pretrained representations with downstream models.
• Abstract（参考訳）: 現代の学習システムは、訓練済みのモデルと下流のヘッドをますます組み合わせている。 このようなモジュラー設計の重要性は高まっているが、下流モデルが事前訓練された表現の幾何学にどのように適応するかは、まだ明らかにされていない。 本稿では,視覚言語モデル(VLA)を用いて,事前学習した視覚言語モデル(VLM)を制御のための行動モデルとして規定する。 動作モデルでは, VLM出力の高分散次元に対する感度を段階的に集中する。 異なるバックボーンヘッドモデル間の制御実験を通じて、この感度濃度の反作用は、表現-タスクミスマッチ設定下でも有益であることを示す。 これらの観察により,トレーニング中の下流感度の上昇に応じて,事前学習した表現を重み付けするパラメータフリーなメカニズムである「emph{Adaptive Interface Equalizer} (AdaIE)」を導入した。 AdaIEは、シミュレーションベンチマークでVLAの成功率を改善し、RoboCasa-GR1で最大5.28ドル、RoboTwin 2.0で$+1.68$ ppを獲得し、5つの実世界の操作タスクで平均$+19$ ppを達成した。 さらに、拡散ポリシーと世界モデルに一般化され、両方の設定で下流のパフォーマンスが向上する。 本結果は,事前学習された表現と下流モデルとの結合において,インタフェースのコ適応が重要な最適化問題であることを示す。

関連論文リスト

• Latent evolving World Action Model [58.32634534358966]
  世界行動モデル(WAM)における視覚的表現が行動生成に与える影響について検討する。 本稿では,JEPA埋め込みにおけるアクション生成を条件としたLeWAMを提案する。 LeWAMはRoboTwin 2.0の平均成功率は92.28%であり、最先端のVLAやWAMに匹敵する。
  論文  参考訳（メタデータ） (2026-09-23T07:22:43Z)
• Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
  ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。 連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。 複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
  論文  参考訳（メタデータ） (2026-02-04T05:37:09Z)
• VLA Models Are More Generalizable Than You Think: Revisiting Physical and Spatial Modeling [60.341503853471494]
  本稿では,新しいカメラ視点と視覚摂動の下で,視覚言語行動モデルが急激に劣化することを示す。 本稿では,軽量で学習可能な更新によって視覚表現を再分類するワンショット適応フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-02T16:16:13Z)
• Dual-Stream Diffusion for World-Model Augmented Vision-Language-Action Model [62.889356203346985]
  本稿では,モダリティ競合を処理する世界モデル拡張VLAフレームワークである Dual-STream diffusion (DUST) を提案する。 DUSTは標準のVLAベースラインと暗黙のワールドモデリングメソッドよりも最大6%向上する。 Franka Research 3による実世界のタスクでは、DUSTは成功率のベースラインを13%上回っている。
  論文  参考訳（メタデータ） (2025-10-31T16:32:12Z)
• EdgeVLA: Efficient Vision-Language-Action Models [0.4005096060512278]
  本稿では,VLA(Vision-Language-Action)モデルの推論速度を大幅に向上する新しい手法であるEdge VLAを紹介する。 1)エンドエフェクタ位置予測の自己回帰要求を排除し,推論の7倍の高速化を実現し,2)小言語モデル(SLM)の効率を向上する。 我々の初期の結果は、EVLAがOpenVLAに匹敵するトレーニング特性を達成し、推論速度とメモリ効率を大幅に向上させることを示した。
  論文  参考訳（メタデータ） (2025-07-18T16:15:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。