論文の概要: Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs

• arxiv url: http://arxiv.org/abs/2611.05249v1
• Date: Tue, 03 Nov 2026 17:35:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-07 13:27:49.671892
• Title: Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
• Title（参考訳）: アクションエキスパートはVLMを訓練すべきか? : 混合変圧器VLAにおけるアクション・ツーケン・スーパービジョンとグラディエント・ルーティング
• Abstract要約: 視覚言語アクション(VLA)モデルは、トレーニング済みの視覚言語モデル(VLM)とフローマッチングの専門家とのペア化がますます進んでいる。 VLMは、アクションエキスパートのフローマッチングの目的のために訓練されることはなかった。 専門家の損失(カップリング)やVLMの監督から逆転する勾配。
• 参考スコア（独自算出の注目度）: 48.5103805222062
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language-action (VLA) models increasingly pair a pre-trained vision-language model (VLM) with a flow-matching expert that conditions its action predictions on the VLM's key-value representations. Those representations must carry information useful for control, yet the VLM was never trained for the action expert's flow-matching objective. Two signals can address this: gradients backpropagated from the expert's loss (coupling), or VLM supervision to predict discrete tokens encoding the same target actions. Prominent training recipes forgo the first, blocking expert-to-VLM gradients (insulation) to protect the VLM's existing capabilities, while also supervising it on vision-language data and action tokens. Because vision-language co-training also aims to preserve those capabilities, the additional protection provided by insulation is unclear. At the same time, insulation removes a direct signal about which features continuous action prediction requires. On the other hand, action-token supervision offers an alternative way to learn action-relevant representations, which may explain why insulation succeeds in practice. We disentangle these factors in autonomous driving and manipulation by independently varying action-token supervision and whether the expert's loss updates the VLM. In open-loop driving, insulation is competitive with coupling when action tokens are supervised; without them, coupling reduces trajectory-prediction error by roughly 25%. When both components are trained jointly from the outset, coupling increases closed-loop driving route progress by approximately 17% with action-token supervision and 40% without it, and similarly improves robot manipulation performance under both settings. These findings show that the value of gradient insulation depends on the VLM's action supervision and the evaluation setting, challenging insulation as a default VLA training recipe.
• Abstract（参考訳）: 視覚言語アクション(VLA)モデルは、学習済みの視覚言語モデル(VLM)と、その行動予測をVLMのキー値表現に設定するフローマッチング専門家とのペア化がますます進んでいる。 これらの表現は制御に有用な情報を運ぶ必要があるが、VLMはアクションエキスパートのフローマッチングの目的のために訓練されることはなかった。 専門家の損失(カップリング)から逆転した勾配や、同じターゲットアクションを符号化した離散トークンを予測するVLM監督という2つのシグナルがこれに対処できる。 著名なトレーニングレシピは、VLMの既存の機能を保護するために、エキスパートからVLMへの勾配(絶縁)をブロックすると同時に、視覚言語のデータとアクショントークンを監督する。 視覚言語によるコトレーニングもこれらの能力を維持することを目的としているため、絶縁による追加保護は不明確である。 同時に絶縁は、連続的な動作予測が要求する特徴の直接的な信号を取り除く。 一方、アクション・ツーケント・インスペクションは、実際に絶縁が成功した理由を説明するために、アクション関連表現を学習する代替手段を提供する。 我々は、自律運転と操作におけるこれらの要因を、独立に異なるアクション・トーケンの監督と、専門家の損失がVLMを更新するかどうかによって解消する。 オープンループ運転では、アクショントークンが監督されている場合、絶縁はカップリングと競合し、それらなしでは、結合は軌道予測誤差を約25%減少させる。 両コンポーネントが初期から共同でトレーニングされると、クローズドループ駆動経路の進行が約17%増加し、それなしに40%増加し、同様に両方の設定下でのロボット操作性能が向上する。 以上の結果から, 勾配絶縁の値はVLMの行動監督と評価設定に依存し, デフォルトのVLAトレーニングレシピとして断熱に挑戦することが示唆された。

関連論文リスト

• Vision-Language Models Are Joint Denoisers in Robotic Action Generation [48.31759166763538]
  JADEは、VLMとアクションエキスパートが共同でアクションを洗練できるようにする統合アクションデノイザーである。 共同記述により、JADEはより少ないサンプリングステップでアクションを生成することができ、VLM参加のさらなるコストを相殺することができる。 RoboDojoでは、JADEが平均成功率12.67%に達し、評価された$_0.5$ベースのメソッドの中で最も高い。
  論文  参考訳（メタデータ） (2026-10-31T19:29:39Z)
• QuoVLA: Quotient Space for Vision-Language-Action Models [51.02329790939691]
  VLA(Vision-Language-Action)モデルは、視覚的な観察と言語指示を連続的な行動にマッピングすることで、トレーニング済みのVLM潜伏者をロボット制御に適応させることが一般的である。 VLA の textitQuotient Theory は、事前訓練された VLM 潜伏剤は、アクションに十分ではないがアクションに十分であることを示している。 提案するQuoVLAは,事前学習されたVLMラテントを動作十分表現に圧縮する,VLAの商空間フレームワークである。
  論文  参考訳（メタデータ） (2026-05-24T06:28:53Z)
• UAM: A Dual-Stream Perspective on Forgetting in VLA Training [20.50709311546184]
  視覚-言語-アクションモデル(VLAモデル、Vision- Language-action Model)は、通常、予め訓練された視覚-言語モデル(VLM)をアクションデータに微調整することによって構築される。 本稿では,この標準レシピがVLMのマルチモーダル能力を体系的に損なうことを示す。 生物学的ビジョンの2ストリームの組織にインスパイアされたこの劣化は、構造的ボトルネックまで遡る。
  論文  参考訳（メタデータ） (2026-05-15T08:45:37Z)
• Counterfactual VLA: Self-Reflective Vision-Language-Action Model with Adaptive Reasoning [71.19675094463834]
  この作業では、モデルが実行前に計画されたアクションを推論し、修正することを可能にする、自己修正型のVLAフレームワークである、Counterfactual VLAを導入している。 CF-VLAはまず、駆動意図を要約した時間分割メタアクションを生成し、その後、メタアクションと視覚コンテキストの両方で条件付けられた反実的推論を実行する。 大規模運転データセットの実験では、CF-VLAは軌道精度を最大17.6%向上し、安全基準を20.5%向上し、適応的思考を示す。
  論文  参考訳（メタデータ） (2025-12-30T19:04:17Z)
• DualVLA: Building a Generalizable Embodied Agent via Partial Decoupling of Reasoning and Action [62.70893433854428]
  推論能力を維持しつつ、慎重に設計した後処理により動作性能を向上させるDualVLAを提案する。 実験の結果、DualVLAはSimplerEnvの平均成功率は61.0であり、8つの競合するマルチモーダルベンチマークの平均スコアは65.4であることがわかった。
  論文  参考訳（メタデータ） (2025-11-27T06:03:53Z)
• Knowledge Insulating Vision-Language-Action Models: Train Fast, Run Fast, Generalize Better [58.559985503802054]
  視覚言語アクション(VLA)モデルは、エンド・ツー・エンドの学習とWebスケール視覚言語モデル(VLM)トレーニングからの意味知識の伝達を組み合わせたモデルである。 最も強力なVLMは数十億から数百億のパラメータを持ち、リアルタイム推論の障害となる。 近年のVLAモデルは、アクションエキスパートや連続出力ヘッドのような効率的な連続制御のための特別なモジュールを使用している。 このような専門家を内面的に含むと、トレーニング速度と知識伝達の両方に悪影響を及ぼすことが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-29T17:40:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。