論文の概要: Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.17389v1
• Date: Tue, 16 Jun 2026 00:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.191823
• Title: Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models
• Title（参考訳）: ビジュアル・リー・コンシスタンス・スピーカー:視覚・言語モデルにおける信頼性から空間的注意を遠ざける
• Authors: Logan Mann, Yi Xia, Ajit Saravanan, Ishan Dave, Saadullah Ismail, Shikhar Shiromani, Emily Huang, Ruizhe Li, Kevin Zhu,
• Abstract要約: MultiSymbol Foundation Modelsは、モデルがいつ幻覚し、批判的になるかを知るため、推論エージェントとしてますます使用される。 アテンション・信頼の仮定(Attention-Confidence Assumption)と呼ばれる一般的な直観は、信頼性は「構造的」視覚的知覚から導かれるというものである。 本稿では,現代視覚言語モデル (VLM) における信頼性信号の系統的クロスファミリー研究である VLM Reliability Probe (VRP) を通じて,この問題に挑戦する。
• 参考スコア（独自算出の注目度）: 6.612737895321556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multimodal Foundation Models are increasingly used as reasoning agents, making reliability, knowing when a model may hallucinate, critical. A common intuition, which we call the Attention-Confidence Assumption, holds that reliability follows from "structural" visual perception: tight attention on relevant regions should signal a trustworthy answer, while scattered attention signals confusion. We challenge this through the VLM Reliability Probe (VRP), a systematic cross-family study of reliability signals in contemporary Vision-Language Models (VLMs). We introduce structural-attention metrics, cluster counts (C_k) and spatial entropy (H_s), to quantify the visual encoder's gaze, and track its evolution (Delta H_s) across layers. This reveals a "Symbolic Detachment": models often "Early Lock" visual features only to diffuse attention later, severing early perception from final generation. Contrary to the grounding hypothesis, we find a "Cluster Failure": spatial attention has near-zero correlation (R approx 0.001) with accuracy. Instead, reliability is a phenomenon of generation dynamics and internal-state distributions. Self-Consistency, the agreement rate across sampled reasoning paths, is the dominant predictor of truth (R = 0.429). Scaling causal interventions exposes a sharp architectural divergence: LLaVA locks its prediction in a fragile late-stage bottleneck, whereas PaliGemma and Qwen2-VL distribute reliability globally, staying resilient even when ~50% or more of their most predictive layer is destroyed. For current VLMs, reliability signals are detached from visual grounding maps and are best inferred from generation-time dynamics and hidden-state probes.
• Abstract（参考訳）: マルチモーダル・ファンデーション・モデルは、モデルがいつ幻覚し、批判的になるかを知るため、推論エージェントとしてますます使用される。 アテンション・信頼推定(Atention-Confidence Assumption)と呼ばれる一般的な直観では、信頼性は「構造的」視覚的知覚から導かれる。 本稿では,現代視覚言語モデル (VLM) における信頼性信号の系統的クロスファミリー研究である VLM Reliability Probe (VRP) を通じて,この問題に挑戦する。 視覚的エンコーダの視線を定量化するために、構造的アテンションメトリクス、クラスタカウント(C_k)、空間エントロピー(H_s)を導入し、層間の進化(Delta H_s)を追跡する。 モデルはしばしば「Early Lock」視覚的特徴は後に注意を拡散させるだけであり、最終世代から早期に知覚を絶つ。 基底仮説とは対照的に、空間的注意は精度とほぼゼロに近い相関(R Approx 0.001)を持つ。 代わりに、信頼性は生成ダイナミクスと内部状態分布の現象である。 自己整合性(Self-Consistency)は、サンプリングされた推論経路間の合意率であり、真理の優位な予測因子である(R = 0.429)。 LLaVAは脆弱な後期ボトルネックで予測をロックするのに対して、PaliGemmaとQwen2-VLは信頼性を世界中に分散し、最も予測可能なレイヤの約50%が破壊されてもレジリエンスを維持します。 現在のVLMでは、信頼性信号は視覚的接地マップから切り離され、生成時ダイナミクスや隠れ状態プローブから最もよく推測される。

関連論文リスト

• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• Consistent Yet Wrong: Evidence Insensitivity in Spatial Vision-Language Models [29.66841995436342]
  現代の視覚言語モデル(VLM)は、計量距離クエリでは信頼できないままである。 我々は,Hypersim,ScanNet,KITTI360から構築したマルチビュー評価プロトコルであるtextbfViewDiagを紹介する。 安定な予測は、証拠に敏感な推論よりも先駆的な崩壊を反映している可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-01T18:06:08Z)
• Learning Uncertainty from Sequential Internal Dispersion in Large Language Models [52.29267172760918]
  不確実性推定は、大規模言語モデルにおける幻覚を検出するための有望なアプローチである。 最近の手法は一般に不確実性を推定するために内部状態のモデルに依存する。 本稿では,教師付き幻覚検出フレームワークであるシークエンシャル内部変数表現(SIVR)を提案する。
  論文  参考訳（メタデータ） (2026-04-17T06:31:29Z)
• Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
  VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。 本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2026-03-16T17:20:38Z)
• Same Answer, Different Representations: Hidden instability in VLMs [65.36933543377346]
  本稿では,内部埋め込みドリフト,スペクトル感度,構造的滑らかさを計測する表現認識・周波数認識評価フレームワークを提案する。 このフレームワークを,SEEDBench,MMMU,POPEデータセットを対象とする最新のビジョン言語モデル(VLM)に適用する。
  論文  参考訳（メタデータ） (2026-02-06T12:24:26Z)
• From Observations to States: Latent Time Series Forecasting [65.98504021691666]
  本稿では,TSFを観測回帰から潜時予測に移行する新しいパラダイムであるLatent Time Series Forecasting(LatentTSF)を提案する。 具体的には、LatentTSFはAutoEncoderを使用して、各段階での観測結果を高次元の潜在状態空間に投影する。 提案する潜伏目標は,予測潜伏状態と地道状態と観測値との相互情報を暗黙的に最大化する。
  論文  参考訳（メタデータ） (2026-01-30T20:39:44Z)
• Why Is Spatial Reasoning Hard for VLMs? An Attention Mechanism Perspective on Focus Areas [69.56484419619919]
  機械的解釈可能性のレンズによる空間的推論の課題について検討する。 空間的推論の成功は、実際の物体の位置と注意を一致させるモデルの能力と強く相関している。 本研究の目的は,ADAPTVISを用いて,信頼性の高い地域への注意を喚起することである。
  論文  参考訳（メタデータ） (2025-03-03T17:57:03Z)
• TRUST-LAPSE: An Explainable and Actionable Mistrust Scoring Framework for Model Monitoring [4.262769931159288]
  連続モデル監視のための"ミストラスト"スコアリングフレームワークであるTRUST-LAPSEを提案する。 我々は,各入力サンプルのモデル予測の信頼性を,潜時空間埋め込みのシーケンスを用いて評価する。 AUROCs 84.1 (vision), 73.9 (audio), 77.1 (clinical EEGs)
  論文  参考訳（メタデータ） (2022-07-22T18:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。