論文の概要: Do Vision-Language-Action Models Understand Instructions? A Mechanistic Interpretability Study on Language Grounding

• arxiv url: http://arxiv.org/abs/2610.10178v1
• Date: Wed, 07 Oct 2026 14:48:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.976297
• Title: Do Vision-Language-Action Models Understand Instructions? A Mechanistic Interpretability Study on Language Grounding
• Title（参考訳）: 視覚・言語・行動モデルによる指導の理解 : 言語接地に関する機械論的解釈可能性の検討
• Abstract要約: Vision-Language-Actionモデルは、環境やタスク記述を一般化するために設計されている。 最先端のビジョン・ランゲージ・アクションモデルである$_0.5$とGR00T N1.7の言語基盤機能について検討する。
• 参考スコア（独自算出の注目度）: 3.494950334697973
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-Language-Action models are designed to generalise across environments and task descriptions, raising the question of whether their action generation actually depends on the language instruction, or whether they largely rely on visual cues and superficial correlations. Robustness to variance in the visual and linguistic observation space is critical for real-world deployment, yet VLAs lack explicit grounding modules and instead rely on the intrinsic language grounding capabilities of their Vision-Language model backbones. For this reason, we conduct a controlled mechanistic interpretability study on the language grounding capabilities of two state-of-the-art Vision-Language-Action models, $π_{0.5}$ and GR00T N1.7, by applying activation and attribution patching to the residual stream of the action generation modules. We systematically corrupt the task instruction of input samples of the LIBERO benchmark following five strategies: synonym replacement, semantic scaling, directional corruption, random object substitution, and empty string. Our experiments find that both models are comparatively insensitive to abstract rephrasing and to referencing non-existent objects, but react strongly to empty task descriptions and, especially, to directional language. During action generation, this sensitivity is concentrated in different loci for each model: mainly in the early, periodic cross-attention layers for GR00T N1.7, versus distributed across the earliest and selected later layers for $π_{0.5}$. For GR00T N1.7, directional perturbations drive some of the largest causal effects while leaving the internal representational geometry comparatively unchanged, a dissociation we do not observe clearly for $π_{0.5}$. Finally, the reliability of attribution patching is model-dependent: it closely tracks activation patching for GR00T N1.7 but not for $π_{0.5}$.
• Abstract（参考訳）: ビジョン・ランゲージ・アクションモデル(Vision-Language-Action model)は、環境やタスク記述を一般化するために設計されており、アクション生成が実際に言語命令に依存しているのか、視覚的手がかりや表面的相関に大きく依存しているのかという疑問を提起する。 視覚的および言語的観察空間のばらつきに対するロバスト性は、実世界の展開には不可欠であるが、VLAには明確な接地モジュールがなく、代わりにビジョン・ランゲージモデルのバックボーンの固有の言語接地機能に依存している。 このため、動作生成モジュールの残ストリームにアクティベーションと属性パッチを適用することにより、2つの最先端のVision-Language-Actionモデル、$π_{0.5}$およびGR00T N1.7の言語基底能力に関する制御力学的解釈可能性の研究を行う。 LIBEROベンチマークの入力サンプルのタスク命令を,シノニム置換,セマンティックスケーリング,指向性劣化,ランダムオブジェクト置換,空文字列の5つの戦略に従って体系的に破損させた。 実験の結果,どちらのモデルも抽象的な言い換えや存在しないオブジェクトの参照には比較的敏感であるが,空のタスク記述や,特に方向言語に強く反応することがわかった。 この感度は、主にGR00T N1.7の初期の周期的横断的層において、初期層と選択層に分散し、π_{0.5}$で分散する。 GR00T N1.7 に対して、方向摂動は、内部表現幾何学を比較的変化させることなく、最大因果効果のいくつかを駆動するが、この解離は、$π_{0.5}$ に対して明確に観察されない。 最後に、帰属パッチの信頼性はモデルに依存し、GR00T N1.7のアクティベーションパッチを密接に追跡するが、$π_{0.5}$にはならない。

関連論文リスト

• Free the Language Model From the Vision Encoder: Semantic Serialization as a Perception Interface for Small Language Models [11.206758778146282]
  本研究では,視覚が言語モデルに入らない場面質問応答インタフェースについて検討する。 低ランク適応で微調整されたVLMはゼロショットシステムに取って代わるが、同様に教師付きテキストリーダーを繋ぐだけである。
  論文  参考訳（メタデータ） (2026-08-29T05:24:25Z)
• In-Context VLA: Endowing Vision-Language-Action Models with Language via In-Context Post-Training and Agentic Tool Use [18.507118969955666]
  Vision-Language-Actionモデルは、静的イメージと固定命令で条件付けられた専門家のアクションチャンクを模倣する。 textbfourmethodは,言語能力を備えたVLAを実現するフレームワークである。 提案手法は,CoTをベースとした手法と比較して,性能と効率の両面において一貫したSOTA結果が得られる。
  論文  参考訳（メタデータ） (2026-08-06T08:21:02Z)
• Dynamic Parsing and Updating Natural Language Specification using VLMs for Robust Vision-Language Tracking [61.91472604294714]
  トラッキング主成分を抽出する新しい言語依存解析機構を提案する。 我々は、事前学習された視覚言語モデルQwen-VLの強力なクロスモーダル理解能力を利用する。 本手法は,複数の大規模視覚言語追跡ベンチマークにおいて,一貫した,より優れたトラッキング性能を実現する。
  論文  参考訳（メタデータ） (2026-06-28T12:12:18Z)
• Continuous Reasoning for Vision-Language-Action [7.904405860789613]
  視覚言語アクション(VLA)ポリシーは、自然言語よりもはるかに微細な時間スケールで行動を選択する必要がある。 我々は、有効なVLA推論媒体は、モデルインスタンス間で共有可能であり、下流の動作改善を通じて検証可能であり、時間的に拡張された制御構造と整合していなければならないと論じる。 我々のモデルはまず、連続的な思考の構造化された集合の形で連続的推論を予測し、それらをチャンク構造化された行動生成のための共有コンテキストとして再利用する。
  論文  参考訳（メタデータ） (2026-05-29T18:02:09Z)
• Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
  残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
  論文  参考訳（メタデータ） (2026-01-07T16:16:10Z)
• LACY: A Vision-Language Model-based Language-Action Cycle for Self-Improving Robotic Manipulation [11.419077130835829]
  LACY(Language-Action Cycle)は、単一の視覚言語モデル内で双方向マッピングを学習する統合フレームワークである。 LACYはタスク成功率を平均56.46%改善し、ロボット操作のための堅牢な言語アクション基盤を提供する。
  論文  参考訳（メタデータ） (2025-11-04T04:02:51Z)
• Do What? Teaching Vision-Language-Action Models to Reject the Impossible [53.40183895299108]
  VLA(Vision-Language-Action)モデルは、さまざまなロボットタスクにおいて強力なパフォーマンスを示している。 Instruct-Verify-and-Act(IVA)を提案する。 実験の結果,IVAはベースラインよりも97.56%の精度で虚偽の前提検出精度を向上させることがわかった。
  論文  参考訳（メタデータ） (2025-08-22T10:54:33Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• ABINet++: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Spotting [121.11880210592497]
  言語モデルの限られた能力は,1)暗黙的な言語モデリング,2)一方向の特徴表現,3)雑音入力を伴う言語モデルから生じる。 シーンテキストスポッティングのための自律的で双方向かつ反復的なABINet++を提案する。
  論文  参考訳（メタデータ） (2022-11-19T03:50:33Z)
• Shapley Head Pruning: Identifying and Removing Interference in Multilingual Transformers [54.4919139401528]
  言語固有のパラメータを識別・解析することで干渉を減らすことができることを示す。 固定モデルから同定された注目ヘッドを除去することで、文分類と構造予測の両方において、ターゲット言語の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-11T18:11:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。