論文の概要: Knowing Isn't Always Saying: When Do Spatial Encodings Reach Answers in Vision-Language Models?

• arxiv url: http://arxiv.org/abs/2608.22916v1
• Date: Mon, 24 Aug 2026 07:52:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.992554
• Title: Knowing Isn't Always Saying: When Do Spatial Encodings Reach Answers in Vision-Language Models?
• Title（参考訳）: 空間エンコーディングはいつ視覚言語モデルに答えられるのか?
• Abstract要約: 視覚言語モデルは、隠れた状態の空間情報をエンコードすることが知られているが、答えるときにそれを使うことができないことが多い。 我々は、方向パッチ、層にまたがるクラス条件の因果介入、トークン位置、プロンプトフォーマットでこの問題に対処する。 先行するエンコーディング証拠に従って構築された空間ID方向を用いて, 応答ロジットに対する因果的影響は, 深さ中～深度でのみ現れることがわかった。
• 参考スコア（独自算出の注目度）: 5.208014723110156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models are known to encode spatial information in their hidden states, yet often fail to use it when answering. However, it remains unclear when and where this encoded information reaches the answer. We address this with direction patching, a class-conditioned causal intervention applied across layers, token positions, and prompt formats. Using spatial-ID directions constructed following prior encoding evidence, we find that causal influence on answer logits emerges only at mid-to-deep depths. Text chain-of-thought suppresses immediate object-word argmax-level transport in most models, while visually grounded prompts keep it open. Positive target-logit gain can remain below the argmax threshold, and transport can re-emerge at the final prefix token or at the answer step in deeper layers. Across the ten VLMs we study, these local effects form descriptive transport patterns. Complementary experiments characterize how these patterns shift across datasets, attributes, and encoding amplitudes. Together, these results reframe the encoding-grounding gap as a problem of conditional transport in VLMs.
• Abstract（参考訳）: 視覚言語モデルは、隠れた状態の空間情報をエンコードすることが知られているが、答えるときにそれを使うことができないことが多い。 しかし、このエンコードされた情報がいつ、どこでその答えに到達したのかは定かではない。 我々は、方向パッチ、層にまたがるクラス条件の因果介入、トークン位置、プロンプトフォーマットでこの問題に対処する。 先行するエンコーディング証拠に従って構築された空間ID方向を用いて, 応答ロジットに対する因果的影響は, 深さ中～深度でのみ現れることがわかった。 テキストチェーン・オブ・シントは、ほとんどのモデルにおいて即時オブジェクトワードargmaxレベルのトランスポートを抑圧するが、視覚的に接地されたプロンプトはそれをオープンに保つ。 正のターゲット-ロジットゲインはargmaxしきい値以下に留まり、トランスポートは最後のプレフィックストークンやより深いレイヤの回答ステップで再起動することができる。 私たちが研究している10個のVLMにおいて、これらの局所的な効果は記述的輸送パターンを形成する。 補完的な実験は、これらのパターンがデータセット、属性、エンコード振幅をどう移行するかを特徴付ける。 これらの結果は,VLMにおける条件輸送問題として,符号化とグラウンドのギャップを再構築するものである。

関連論文リスト

• UniProbe: A Learnable Token-Level Hallucination Detector for Large VLMs using Multi-Structural Internal Representations [61.85916280854257]
  LVLM(Large Vision-Language Models)は印象的な視覚的推論と対話機能を実現するが、視覚入力によるコンテンツサポートを幻覚させることが多い。 textbfUniProbeは軽量で統一された学習可能な検出器で、凍ったLVLMの不均一な計算トレースを1つの前方パスからモデル化する。
  論文  参考訳（メタデータ） (2026-08-11T12:01:59Z)
• Analysis-by-Proxy: Localization Signals in VLMs Operating as Condition Encoders [54.06522068041745]
  VLM(Vision-Language Models)は、拡散に基づく画像編集の条件付バックボーンとしてますます利用されている。 スタンドアロンのVLMは強力なローカライゼーション機能を示しているが、パイプラインの編集はこの精度を維持するのに苦労することが多い。 本研究では,VLMを条件エンコーダとして扱うことに起因することを仮説として,この性能ギャップについて検討する。
  論文  参考訳（メタデータ） (2026-07-07T16:11:13Z)
• Aligning What Vision-Language Models See and Perceive with Adaptive Information Flow [32.21470980856891]
  VLM(Vision-Language Models)は、視覚認識、文書解析、視覚的グラウンドニングなど、幅広いタスクにおいて強力な能力を示している。 最近の研究は、VLMが問題に対応する正しい画像領域をキャプチャすることが多いが、必ずしも正しい答えを生成するとは限らないことを示している。 テキストトークンが無関係な視覚トークンに過度に注意を散らしすぎる場合、この誤認識はVLM内の最適情報フローに起因する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-04-17T08:07:22Z)
• GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics [51.647572539626715]
  GRADE(Gradient Dynamics for Knowledge gap Detection)は,勾配の層間ランク比と対応する隠れ状態部分空間の層間ランク比を用いて,知識ギャップを定量化する。 6つのベンチマークでモデル名を検証し、入力摂動に対するその有効性と堅牢性を示す。 さらに, 勾配連鎖が長文解に対する知識ギャップの解釈可能な説明をいかに生み出すかを示すケーススタディを示す。
  論文  参考訳（メタデータ） (2026-04-03T07:52:26Z)
• Probing Visual Concepts in Lightweight Vision-Language Models for Automated Driving [3.333320380836246]
  VLM(Vision-Language Models)は、自動走行アプリケーションに使用される。 これらのモデルは、自動運転に非常に関係のある単純な視覚的な問題で失敗することが多い。 シーンにおけるオブジェクトやエージェントの存在などの概念は、明示的にかつ線形に符号化されていることを示す。 物体やエージェントの向きなどの他の空間視覚概念は、視覚エンコーダが保持する空間構造によって暗黙的に符号化される。 最後に,対象物の距離を増大させると,対応する視覚概念の線形分離性が急速に低下することを示す。
  論文  参考訳（メタデータ） (2026-03-06T09:07:57Z)
• 1 + 1 > 2: Detector-Empowered Video Large Language Model for Spatio-Temporal Grounding and Reasoning [53.28271278708241]
  本稿では,DEViL の略である Detector-Empowered Video LLM を提案する。 DEViLはオープンボキャブラリ検出器(OVD)とビデオLLMを結合する 単に空間的なプロンプトやセグメンタスイッチとして機能するトークンとは異なり、RTTは制御信号とOVDのテキスト埋め込みの置き換えの両方として機能する。
  論文  参考訳（メタデータ） (2025-12-07T06:11:15Z)
• Hyperdimensional Probe: Decoding LLM Representations via Vector Symbolic Architectures [12.466522376751811]
  超次元プローブは、大規模言語モデルベクトル空間から情報を復号するための新しいパラダイムである。 シンボリック表現とニューラルプローブのアイデアを組み合わせて、モデルの残留ストリームを解釈可能な概念に投影する。 我々の研究は、LLMベクトル空間における情報復号化を進め、神経表現からより情報的、解釈可能、構造化された特徴を抽出することを可能にする。
  論文  参考訳（メタデータ） (2025-09-29T16:59:07Z)
• TokenSwap: Backdoor Attack on the Compositional Understanding of Large Vision-Language Models [57.32952956674526]
  大規模視覚言語モデル(LVLM)に対するより回避的でステルス的なバックドア攻撃であるTokenSwapを紹介する。 固定されたターゲットコンテンツを強制するのではなく、TokenSwapはテキスト内のオブジェクト関係の理解を微妙に妨害する。 TokenSwapは、優れた回避性とステルス性を維持しながら、高い攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-09-29T10:19:22Z)
• Large Language Models Encode Semantics in Low-Dimensional Linear Subspaces [31.401762286885656]
  大規模言語モデル(LLM)の潜在空間幾何を理解することは、それらの振舞いとアライメントの鍵となる。 我々は6つの科学的トピックにわたる11の経験的モデルで大規模な研究を行っている。
  論文  参考訳（メタデータ） (2025-07-13T17:03:25Z)
• Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding [58.364933651703524]
  注目クエリの特定の領域において、集中した巨大な値が一貫して現れることを示す。 これらの膨大な価値は文脈知識の解釈において重要な役割を担っている。 大量の値の出現を辿り、そのような濃度は回転位置によって引き起こされる。
  論文  参考訳（メタデータ） (2025-02-03T17:47:03Z)
• PAINT: Paying Attention to INformed Tokens to Mitigate Hallucination in Large Vision-Language Model [0.0]
  幻覚は、しばしば注意重みの進歩的な弱体化から視覚的トークンへと生じる。 textbfPAINT (textbfPaying textbfAttention to textbfINformed textbfTokens) は、大規模視覚言語モデルの自己保持機構を介するプラグイン・アンド・プレイフレームワークである。
  論文  参考訳（メタデータ） (2025-01-21T15:22:31Z)
• Performance Gap in Entity Knowledge Extraction Across Modalities in Vision Language Models [36.18155629835474]
  視覚言語モデル(VLM)は、画像から情報を取り出し、推論するのに優れている。 しかし、特定のエンティティに関する内部知識を活用する能力は、まだ探索されていない。 本研究は,テキストで記述されたエンティティと画像で表現されたエンティティについて,現実的な質問に答える際のモデル性能の相違について検討する。
  論文  参考訳（メタデータ） (2024-12-18T18:22:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。