Fugu-MT 論文翻訳(概要): CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models

論文の概要: CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models

arxiv url: http://arxiv.org/abs/2609.38810v2
Date: Fri, 02 Oct 2026 15:11:54 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:29.958997
Title: CRAFT: Causal Responsibility and Failure Tracing in Medical Vision Language Models
Title（参考訳）: CRAFT:医療ビジョン言語モデルにおける因果責任と故障追跡
Abstract要約: 視覚的接地とブレーキの故障は,空間的に不随意なアテンションヘッドの集団が介在していることが判明した。 CRAFTを導入し、各障害モードを2つの基準で最小限の因果頭部にローカライズする。実験により、同定された頭部は各障害モードを因果的に駆動し、目標変調は再訓練せずに一般化することが示された。
参考スコア（独自算出の注目度）: 21.845982651675808
License: http://creativecommons.org/licenses/by/4.0/
Abstract: As vision language models are increasingly deployed in clinical diagnosis, under standing how they internally resolve competing visual and textual signals becomes a safety imperative. Existing mechanistic analyses remain confined to unimodal text and offer no explanation for why a single misleading sentence can override a correct image based diagnosis, or why a model commits to a confident answer despite insufficient visual evidence. We find that these two safety risks, arbitra tion failure where textual context overrides visual grounding and brake failure where the model commits without adequate evidence, are mediated by spatially disjoint attention head populations: arbitration heads form a mid-to-deep wideband reflecting cross-layer evidence competition, while brake heads concentrate in a narrow middle-to-late layer band that regulates evidence sufficiency and abstention behavior. To ground these observations in causal circuitry, we introduce CRAFT, which localizes each failure mode to a minimal causal head set via dual criteria and verifies necessity and sufficiency through temporal probes and Tuned Lens trajectory analysis. Excising arbitration heads sharply reduces conflict following with negligible degradation on clean inputs, while excising brake heads restores ap propriate abstention under degraded visual evidence. The two interventions target spatially disjoint head sets and produce distinct corrective effects, underscoring the mechanistic separability of the failure modes. Experiments across multiple medical VQA benchmarks and VLM architectures validate both the localization and inter ventions, demonstrating that the identified heads causally drive each failure mode and that targeted modulation generalises without retraining. The code is available at https://github.com/zhcz328/CRAFT.
Abstract（参考訳）: 視覚言語モデルが臨床診断にますます導入されるにつれて、競合する視覚信号やテキスト信号が内部的にどのように解決されるかという立場は、安全性に欠かせないものとなっている。既存の機械的分析は、単文のみに限られており、単一の誤解を招く文が正しい画像に基づく診断を上書きできる理由や、モデルが視覚的証拠が不足しているにもかかわらず自信ある回答をコミットする理由の説明は提供されていない。この2つの安全性リスクは、テキストのコンテキストが視覚的接地とブレーキの故障をオーバーライドし、適切な証拠のないモデルが犯す場合、アクセプションヘッドが空間的に不整合な注意ヘッドの集団を介し、中間から奥行きのワイドバンドを形成して層間エビデンス競争を反映し、ブレーキヘッドは証拠の正当性や抑止行動を規制する狭い中間から後期の層バンドに集中していることである。 CRAFTは2つの基準で各障害モードを最小限の因果頭部にローカライズし、時間プローブとツンドレンズ軌跡解析による必要性と充足性を検証する。調停ヘッドの実行は、クリーン入力における無視可能な劣化に伴う競合を著しく低減し、一方、ブレーキヘッドの出力は、劣化した視覚的証拠の下で、アブプロリテート禁制を回復する。 2つの介入は、空間的に不整合なヘッドセットをターゲットとし、障害モードの機械的分離性を裏付ける、明確な補正効果を生み出す。複数の医療用VQAベンチマークとVLMアーキテクチャによる実験は、局所化とインターベンションの両方を検証し、識別された頭部がそれぞれの障害モードを因果的に駆動し、ターゲットとする変調が再トレーニングせずに一般化することを示した。コードはhttps://github.com/zhcz328/CRAFTで公開されている。

関連論文リスト

Tri-PvP: Exposing Modality Bias in Omni-Modal Large Language Models through Perceptual-Propositional Evidence Conflicts [49.97842835825998]
既存のベンチマークでは、知覚信号と命題信号の2つの形態の証拠が記述されている。本稿では,視覚,音声,テキストを交叉するベンチマークであるTri-PvPを紹介する。多くのモデルとエビデンス型条件で頑健な視覚バイアスが見つかり、重要なことはエビデンス型バイアスの系統的な非対称性を明らかにすることである。
論文参考訳（メタデータ） (2026-09-05T10:33:58Z)
Role-Break in Attention Heads: Understanding and Detecting Hallucinations in VLMs [49.743008490747094]
Vision-Language Models (VLMs) は幻覚の傾向が強く、入力された画像によってサポートされないコンテンツを生成する。統合された頭部レベルの視点では,幻覚による変化が各頭部の忠実な文脈行動からの局所的な逸脱として現れる。詳細な分析により、これらの偏差は注目ヘッド、コンテキストソース、偏差方向にわたって体系的に整理され、その結果の信号はヘッドアイデンティティが保存されると線形に可読であることが分かる。
論文参考訳（メタデータ） (2026-07-31T13:33:51Z)
Vision-Default, Prior-Override: Causal Mechanisms of Perception-Knowledge Conflict in Vision-Language Models [22.92467024419928]
視覚言語モデルは、両者の対立時に記憶された世界知識と視覚的証拠を一致させなければならない。我々は3つの粒度(残留ストリーム、注目ヘッド、サブレイヤ)にわたる活性化とモデル成分アブレーション研究と力学解析を組み合わせる。視覚的接地がデフォルトで現れるのに対して、先行接地は因果的に必要な注意の小さなセットに依存している。
論文参考訳（メタデータ） (2026-06-26T17:16:04Z)
MM-Snowball: Evaluating and Mitigating Hallucination Snowballing in Multimodal Multi-Turn Dialogue [98.58433916474472]
MM-Snowballは,対話内における幻覚雪球の診断のための最初のベンチマークである。本稿では,この劣化に対処するために,コンフリクト・アウェア・ビジュアル・リクティフィケーション(CAVR)を提案する。
論文参考訳（メタデータ） (2026-05-30T08:53:34Z)
Causal Evidence for Attention Head Imbalance in Modality Conflict Hallucination [19.688878240689423]
モダリティ・コンフリクト・幻覚(Modality-Conflict Hallucination)は、多様大言語モデルが矛盾する視覚的証拠よりも誤ったテキスト的前提を優先する場合に発生する。本研究は,幻覚駆動型頭部と幻覚抵抗型頭部の2つのグループを同定した。そこで本研究では,コンフリクトが検出された場合にのみ,因果的に同定された幻覚を抑える条件付き介入であるMACIを提案する。
論文参考訳（メタデータ） (2026-05-19T01:47:53Z)
The Cost of Context: Mitigating Textual Bias in Multimodal Retrieval-Augmented Generation [18.83395586542378]
MLLM(Multimodal Large Language Models)とRAG(Retrieval-Augmented Generation)の統合が進んでいる再破壊現象を特定し, 定式化した上で, 完全に正確な「おかしな」コンテキストを導入することで, 有能なモデルが早期に正しい予測を放棄する。本稿では,BAIR(Bottleneck Attention Intervention for Recovery)を提案する。
論文参考訳（メタデータ） (2026-05-07T02:27:04Z)
DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models [17.5535076530203]
オブジェクトレベルの幻覚は、視覚言語モデルにとって依然として中心的な信頼性の課題である。構造的介入によりソースを分離する制御診断ベンチマークであるDO-Benchを紹介する。対象幻覚は,集合的精度を超える不均一な機構に依存した障害パターンを反映していることを示す。
論文参考訳（メタデータ） (2026-04-18T06:54:02Z)
Dialectic-Med: Mitigating Diagnostic Hallucinations via Counterfactual Adversarial Multi-Agent Debate [2.645243404278707]
本稿では,対数弁証法を用いて診断厳格を強制するマルチエージェントフレームワークDialectic-Medを提案する。ファリシフィケーションの認知過程を明示的にモデル化することにより、診断的推論が検証された視覚領域にしっかりと根付いていることを保証する。
論文参考訳（メタデータ） (2026-04-13T10:09:36Z)
Anatomy of a Lie: A Multi-Stage Diagnostic Framework for Tracing Hallucinations in Vision-Language Models [62.932580559941414]
VLM(Vision-Language Models)は、しばしば「ハロシン化(hallucinate)」する。本稿では,静的な出力誤差からモデル計算認知の動的病理へ再キャストし,幻覚を診断するための新しいパラダイムを提案する。
論文参考訳（メタデータ） (2026-03-16T17:20:38Z)
Diagnosing Knowledge Conflict in Multimodal Long-Chain Reasoning [78.86309644343295]
長い連鎖推論におけるマルチモーダルな大言語モデル(MLLM)は、異なる知識源が矛盾する信号を提供するときにしばしば失敗する。我々は、これらの失敗を知識の衝突という統一概念の下で形式化し、入力レベルの客観的衝突とプロセスレベルの効果的な衝突を区別する。本研究は,知識衝突下でのマルチモーダル推論のメカニズムを考察し,長CoT障害の診断と制御を可能にする。
論文参考訳（メタデータ） (2026-02-16T07:10:44Z)
Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文参考訳（メタデータ） (2026-01-07T16:39:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。