論文の概要: Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models

• arxiv url: http://arxiv.org/abs/2606.28273v1
• Date: Fri, 26 Jun 2026 17:16:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-29 18:24:25.545518
• Title: Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models
• Title（参考訳）: 視覚障害, 先行オーバライド:視覚言語モデルにおける知覚知識衝突の因果メカニズム
• Abstract要約: 視覚言語モデルは、両者の対立時に記憶された世界知識と視覚的証拠を一致させなければならない。 我々は3つの粒度(残留ストリーム、注目ヘッド、サブレイヤ)にわたる活性化とモデル成分アブレーション研究と力学解析を組み合わせる。 視覚的接地がデフォルトで現れるのに対して、先行接地は因果的に必要な注意の小さなセットに依存している。
• 参考スコア（独自算出の注目度）: 22.92467024419928
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models must reconcile visual evidence with memorized world knowledge when the two conflict. How they resolve this conflict shapes the reliability of multimodal systems, yet prior work characterizes it behaviorally without a component-level causal account. We combine activation patching across three granularities (residual stream, attention heads, and MLP sublayers) with model-component ablation studies and mechanistic analysis. Across three VLM families, we find that visual grounding emerges by default, whereas prior grounding depends on a small set of causally necessary attention heads (2.5-4.8%) concentrated in the second half of the network. These heads enable answers from stored world knowledge (e.g., "red" for a strawberry) despite conflicting visual input. Ablating them flips predictions from knowledge-grounded to visually grounded answers in 68-96% of cases under prior-knowledge prompts, but changes only 0.8-7.5% of visually grounded predictions, establishing an asymmetric causal structure. The identified heads decompose into routing heads, which modulate information flow, and writing heads, which directly project answer tokens into the residual stream. This structure is consistent across model families and scales, revealing a sparse causal circuit underlying perception-knowledge conflict in VLMs.
• Abstract（参考訳）: 視覚言語モデルは、両者の対立時に記憶された世界知識と視覚的証拠を一致させなければならない。 この対立をどう解決するかは、マルチモーダルシステムの信頼性を形作るが、事前の作業では、コンポーネントレベルの因果関係なしに振る舞いを特徴付ける。 活性化パッチを3つの粒度(残留ストリーム,アテンションヘッド,MPPサブレイヤ)に当てはめ,モデル成分のアブレーションとメカニスティック解析を組み合わせた。 3つのVLMファミリーにまたがって、視覚的接地がデフォルトで現れるのに対して、先行接地はネットワークの後半に集中している小さな因果的注意ヘッド(2.5-4.8%)に依存している。 これらのヘッドは、視覚的な入力の矛盾にもかかわらず、記憶されている世界の知識(例えば、イチゴの「赤」)からの回答を可能にする。 事前知識のプロンプトによる68-96%のケースでは、知識接地から視覚接地への予測を反転させるが、視覚接地による予測の0.8-7.5%しか変化せず、非対称因果構造を確立している。 識別されたヘッドは、情報フローを変調するルーティングヘッドと、応答トークンを直接残ストリームに投影する書き込みヘッドに分解される。 この構造はモデルファミリとスケールで一致しており、VLMにおける知覚と知識の衝突の根底にあるスパース因果回路が明らかである。

関連論文リスト

• Is Visual Prompting All You Need? Studying VLM Spatial Reasoning under Progressive Visual Scaffolds [12.841957617988148]
  本研究では,タスクの視覚的提示がモデル性能と障害モードを,基礎となる推論問題が変化しない場合にどのように形成するかを検討する。 空間構造をより使いやすくしながら、視覚的モダリティを保ちつつ、軽量な入力側足場を導入する。 視覚提示は,VLMベンチマークが基底認識,下流推論,あるいは両者の混合を計測するかどうかを決定する中心的な要因であることがわかった。
  論文  参考訳（メタデータ） (2026-08-21T14:40:26Z)
• Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
  Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。 統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。 詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
  論文  参考訳（メタデータ） (2026-07-31T13:33:51Z)
• Visuals Lie, Consistency Speaks: Disentangling Spatial Attention from Reliability in Vision-Language Models [6.612737895321556]
  MultiSymbol Foundation Modelsは、モデルがいつ幻覚し、批判的になるかを知るため、推論エージェントとしてますます使用される。 アテンション・信頼の仮定(Attention-Confidence Assumption)と呼ばれる一般的な直観は、信頼性は「構造的」視覚的知覚から導かれるというものである。 本稿では,現代視覚言語モデル (VLM) における信頼性信号の系統的クロスファミリー研究である VLM Reliability Probe (VRP) を通じて,この問題に挑戦する。
  論文  参考訳（メタデータ） (2026-06-16T00:58:43Z)
• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• Seeing Isn't Knowing: Do VLMs Know When Not to Answer Spatial Questions (and Why)? [72.2500547961037]
  空間推論は視覚言語モデル(VLM)が現実世界の環境に展開する基本的な能力である。 対象情報を隠蔽するオクルージョン(Occlusion)と、誤解を招く視覚的手がかりを生成する視点曖昧性(spective ambiguity)の2つのタイプの観察課題を紹介した。 各構成について、クリーンな観察では答えられるが、導入した課題では無視する必要がある空間的質問を設計する。
  論文  参考訳（メタデータ） (2026-05-28T20:44:47Z)
• Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
  長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。 我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。 本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
  論文  参考訳（メタデータ） (2026-02-16T07:10:44Z)
• When Seeing Overrides Knowing: Disentangling Knowledge Conflicts in Vision-Language Models [13.390492503308792]
  我々は,視覚言語モデル(VLM)がモーダル間の衝突を解決するために使用するメカニズムを解析する。 私たちは、紛争を制御する小さな首のセットをロジット検査でローカライズします。 このような頭部のピンポイントからの注意は、視覚的オーバーライドを駆動する局所化画像領域に向けられ、精度において勾配に基づく属性よりも優れていた。
  論文  参考訳（メタデータ） (2025-07-18T12:42:30Z)
• Treble Counterfactual VLMs: A Causal Approach to Hallucination [6.3952983618258665]
  VisionLanguage Models (VLM) には、画像キャプション、視覚的質問応答、推論といった高度なマルチモーダルタスクがある。 視覚的文脈やプロンプトと矛盾しない幻覚出力をしばしば生成する。 既存の研究では、幻覚は統計的バイアス、言語優先、偏見のある特徴学習と結びついているが、構造的な因果理解は欠如している。
  論文  参考訳（メタデータ） (2025-03-08T11:13:05Z)
• SegSub: Evaluating Robustness to Knowledge Conflicts and Hallucinations in Vision-Language Models [6.52323086990482]
  視覚言語モデル(VLM)は、高度なマルチモーダル推論を実証するが、知識の衝突に直面した場合には幻覚を起こす傾向がある。 本研究は,VLMレジリエンスを知識衝突に対して調査するために,目標画像摂動を適用するフレームワークであるsegsubを紹介する。
  論文  参考訳（メタデータ） (2025-02-19T00:26:38Z)
• Nonparametric Identifiability of Causal Representations from Unknown Interventions [63.1354734978244]
  本研究では, 因果表現学習, 潜伏因果変数を推定するタスク, およびそれらの変数の混合から因果関係を考察する。 我々のゴールは、根底にある真理潜入者とその因果グラフの両方を、介入データから解決不可能なあいまいさの集合まで識別することである。
  論文  参考訳（メタデータ） (2023-06-01T10:51:58Z)
• Hierarchical Graph Neural Networks for Causal Discovery and Root Cause Localization [52.72490784720227]
  REASONはTopological Causal DiscoveryとPersonal Causal Discoveryで構成されている。 Topological Causal Discoveryコンポーネントは、根本原因を辿るために断層伝播をモデル化することを目的としている。 個々の因果発見コンポーネントは、単一のシステムエンティティの突然の変化パターンのキャプチャに重点を置いている。
  論文  参考訳（メタデータ） (2023-02-03T20:17:45Z)
• Causal Triplet: An Open Challenge for Intervention-centric Causal Representation Learning [98.78136504619539]
  Causal Tripletは、視覚的に複雑なシーンを特徴とする因果表現学習ベンチマークである。 この結果から,不整合表現やオブジェクト中心表現の知識によって構築されたモデルが,分散表現よりもはるかに優れていることを示す。
  論文  参考訳（メタデータ） (2023-01-12T17:43:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。