論文の概要: What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior

• arxiv url: http://arxiv.org/abs/2609.24576v1
• Date: Mon, 21 Sep 2026 13:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.30634
• Title: What do VLM-Based Vision-Language Navigation Models Rely on: Interpreting and Steering Policy Behavior
• Title（参考訳）: VLMに基づく視覚言語ナビゲーションモデルとは何か:解釈と操舵行動
• Abstract要約: 本稿では,現代の視覚言語ナビゲーション(VLN)モデルの解釈可能性と操縦性について検討する。 我々は、視覚的観察、指示、視覚記憶がナビゲーション決定に因果的にどう影響するかを測定する介入ベースのメトリクスを使用する。 以上の結果から,これらのナビゲーションポリシーは全ての入力モダリティに敏感であり,単一のモダリティに依存しないことがわかった。
• 参考スコア（独自算出の注目度）: 50.946179887746666
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Vision-Language Navigation (VLN) models rely mostly on pre-trained large Vision-Language Models (VLMs) to predict navigation actions. While this fusion of language instructions and visual observations allows multimodal reasoning, it obscures how information is routed across modalities or what mechanisms drive navigation decisions. Thus, it remains unclear whether VLN models ground their predictions in relevant semantic cues or can track task progress. In this work, we study the interpretability and steerability of VLN models. We use intervention-based metrics that measure how visual observations, instructions, and visual memory causally influence navigation decisions. Our results show that these navigation policies are sensitive to all input modalities and do not depend on a single one. We further show that these agents encode navigation progress and retain semantic structure from their VLM backbones, enabling concept-level steering through internal activations. Finally, we extract activation vectors for abstract behaviors to transfer them zero-shot to out-of-distribution real-world scenarios, improving performance without additional fine-tuning.
• Abstract（参考訳）: 現代のヴィジュアル・ランゲージ・ナビゲーション(VLN)モデルは、主にナビゲーション行動を予測するために訓練済みの大型ヴィジュアル・ランゲージ・モデル(VLM)に依存している。 この言語命令と視覚的観察の融合は多モーダル推論を可能にするが、情報がどのようにモダリティを越えてルートされるか、どのようなメカニズムがナビゲーション決定を駆動するかは明らかになっていない。 したがって、VLNモデルが関連するセマンティックキューで予測を下ろすのか、それともタスクの進捗を追跡できるのかは、まだ不明である。 本稿では,VLNモデルの解釈可能性と操縦性について検討する。 我々は、視覚的観察、指示、視覚記憶がナビゲーション決定に因果的にどう影響するかを測定する介入ベースのメトリクスを使用する。 以上の結果から,これらのナビゲーションポリシーは全ての入力モダリティに敏感であり,単一のモダリティに依存しないことがわかった。 さらに、これらのエージェントがナビゲーションの進行を符号化し、VLMバックボーンのセマンティック構造を維持し、内部アクティベーションによる概念レベルのステアリングを可能にすることを示す。 最後に,ゼロショットからアウト・オブ・ディストリビューション現実のシナリオに転送するために,抽象動作のためのアクティベーションベクトルを抽出し,微調整を伴わずに性能を向上させる。

関連論文リスト

• AwareVLN: Reasoning with Self-awareness for Vision-Language Navigation [78.80536515102305]
  VLN(Vision-and-Language Navigation)は、エージェントが視覚環境内の自身の動きに言語命令を接地する必要がある。 本稿では,ナビゲーションモデルに自己認識推論機構を備えた新しいフレームワークであるAwareVLNを提案する。 提案手法は,(1)空間的およびタスク指向の自己認識を促進する構造的推論モジュール,(2)効果的な学習のための進歩分担付き自動データエンジンの2つの重要な革新を特徴とする。
  論文  参考訳（メタデータ） (2026-05-21T17:58:26Z)
• AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild [62.47761809929869]
  視覚言語ナビゲーション(VLN)は、視覚的観察とともに言語指示を解釈することで、知的エージェントが環境をナビゲートする必要がある。 無人航空機(UAV)の現在のVLN研究は、所定のルートに沿ってUAVを誘導するための詳細な指示に依存している。 本稿では,自律型UAVナビゲーションのためのエンド・ツー・エンドのビジョン・ランゲージ・アクションモデルであるAutoFlyを提案する。
  論文  参考訳（メタデータ） (2026-02-10T11:08:07Z)
• VLingNav: Embodied Navigation with Adaptive Reasoning and Visual-Assisted Linguistic Memory [43.2995099083993]
  VLAモデルは、認識と計画を統合することで、航法を具現化する有望な可能性を示してきた。 既存のVLAモデルは、観察から行動へのリアクティブマッピングに直接依存している。 VLingNav(VLAモデル)を提案する。
  論文  参考訳（メタデータ） (2026-01-13T15:43:43Z)
• TINA: Think, Interaction, and Action Framework for Zero-Shot Vision Language Navigation [11.591176410027224]
  本稿では,Large Language Models(LLM)に基づく視覚言語ナビゲーション(VLN)エージェントを提案する。 環境認識におけるLLMの欠点を補うための思考・相互作用・行動の枠組みを提案する。 また,本手法は教師付き学習手法よりも優れ,ゼロショットナビゲーションの有効性を強調した。
  論文  参考訳（メタデータ） (2024-03-13T05:22:39Z)
• NavGPT: Explicit Reasoning in Vision-and-Language Navigation with Large Language Models [17.495162643127003]
  我々は,複雑なエンボディシーンにおけるGPTモデルの推論能力を明らかにするために,NavGPTを導入した。 NavGPTは、視覚的な観察、ナビゲーション履歴、将来の探索可能な方向のテキスト記述を入力として、エージェントの現在の状態を推論する。 本研究では,NavGPTが経路に沿った観察や行動から高品質なナビゲーション命令を生成可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-26T14:41:06Z)
• Cross-modal Map Learning for Vision and Language Navigation [82.04247028482244]
  VLN(Vision-and-Language Navigation)の問題点について考察する。 他の研究とは対照的に、我々の重要な洞察は、言語と視覚の関連性は、明示的な空間表現で起こるときに強くなるということである。 視覚・言語ナビゲーションのためのクロスモーダルマップ学習モデルを提案する。このモデルでは,まず,観測領域と観測対象領域の両方に対して,エゴセントリックマップ上のトップダウンセマンティクスを予測することを学習する。
  論文  参考訳（メタデータ） (2022-03-10T03:30:12Z)
• Diagnosing Vision-and-Language Navigation: What Really Matters [61.72935815656582]
  視覚言語ナビゲーション(VLN)は、エージェントが自然言語の指示に従って視覚環境をナビゲートするマルチモーダルタスクである。 近年の研究では、室内および屋外のVLNタスクのパフォーマンス改善が鈍化している。 本研究では,ナビゲーション中のエージェントの焦点を明らかにするための一連の診断実験を行う。
  論文  参考訳（メタデータ） (2021-03-30T17:59:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。