論文の概要: Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
- arxiv url: http://arxiv.org/abs/2610.21638v1
- Date: Thu, 15 Oct 2026 10:21:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.02284
- Title: Spurious Attention Heads in Vision Transformers: Mechanistic Identification of Annotation-Driven Bias in Medical Chest X-Ray Analysis
- Title（参考訳）: 医用胸部X線分析におけるアノテーション駆動バイアスの機械的同定
- Abstract要約: 我々は,ViT-Base 16におけるそのようなメカニズムの特定に機械論的解釈性を適用した。
胸部X線で専用のアノテーションリーダーとして機能する単一注意頭(L8H10)は、200のCOVID-19画像のうち62%で肺病ではなく、テキストをコーナーする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision Transformers deployed in medical imaging exploit spurious correlations, yet the internal mechanisms remain unidentified and impossible to fix. We apply mechanistic interpretability to locate one such mechanism in ViT-Base 16: a single attention head (L8H10) that functions as a dedicated annotation-reader on chest X-rays, attending to corner text rather than lung pathology in 62% of 200 COVID-19 images. Causal validation via inpainting confirms annotation content rather than luminance or edge density drives the behaviour, increasing lung attention 1.52 times upon removal in affected images ($p{<}0.0001$). The finding replicates across NIH ChestX-ray14 (79%), DeiT-Base (88%), and ViT-Large 16 (80%), establishing spurious annotation-attending heads as a consistent property of ViT-family architectures across two datasets and three architectures. Full fine-tuning does not suppress the behaviour and may entrench it: 98.4% of spurious images remain spurious and the spurious rate rises marginally, as the shortcut is reinforced rather than removed. Critically, single-head ablation produces $p{=}0.340$ and multi-head ablation of all three identified carriers produces $p{=}0.532$, meaning a causally verified annotation-reading circuit is completely invisible to output-level evaluation. Mechanistic auditing finds what behavioural testing cannot.
- Abstract（参考訳）: 医用画像に展開された視覚変換器は、急激な相関を利用しているが、内部のメカニズムは未同定であり、修正は不可能である。
胸部X線による注記読影装置として機能する単一注意ヘッド (L8H10) を, 200個のCOVID-19画像の62%で肺疾患ではなく, コーナーテキストに参画する。
塗布による因果性検証は、輝度やエッジ密度よりもアノテーションの内容が行動を促進することを確認し、影響を受ける画像(p{<}0.0001$)を除去すると、肺の注意が1.52倍増加する。
この発見はNIH ChestX-ray14(79%)、DeiT-Base(88%)、ViT-Large 16(80%)にまたがって複製され、2つのデータセットと3つのアーキテクチャにまたがるViTファミリーアーキテクチャの一貫性のある特性として、突発的なアノテーション対応ヘッドを確立する。
98.4%の急激な画像が急激なままであり、ショートカットが取り除かれるよりは強化されるので、急激なレートはわずかに上昇する。
批判的に、シングルヘッドアブレーションは$p{=}0.340$を生成し、3つの特定キャリアのマルチヘッドアブレーションは$p{=}0.532$を生成する。
メカニスティック監査は、振る舞いテストができないものを見つける。
関連論文リスト
- Augmenting Visual Anomaly Detection with Automated Interpretability [3.83610149911488]
視覚異常検出装置は、既知の正常なデータからの偏差を識別するが、その異常信号は実際の異常の証拠と良質な視覚的変動を混合する可能性がある。
本稿では,この信号の異なる成分を識別・介入することにより,視覚異常検出装置を拡張できるかどうかを考察する。
論文 参考訳（メタデータ） (2026-09-27T18:13:59Z) - Multi-Contrast MRI Motion Correction via Parameter-Informed Disentanglement and Adaptive Experts [56.74856091904914]
パラメータインフォームドコントラストと重度適応補正を組み合わせた統合フレームワークを提案する。
ScanCLIPは、取得パラメータからアンタングルコントラストスタイルへのコントラスト埋め込みを解剖学的内容から導き、コントラストのない特徴をもたらす。
ビジョントランスフォーマーは、動きの重大度を推定し、Mixture-of-Expertsネットワークを介して特徴をルーティングし、ターゲットのアーティファクト修正を可能にする。
論文 参考訳（メタデータ） (2026-05-29T02:48:23Z) - GAZE: Grounded Agentic Zero-shot Evaluation with Viewer-Level Tools and Literature Retrieval on Rare Brain MRI [0.0]
視覚言語モデル(VLM)は画像を読み、単一の前方通過でテキストを生成するのに対し、放射線学者は通常、画像を調べてレポートを書く前に文献を参照する。
我々は,米国国立医学図書館が支援するビューアーレベルのツールと2つの検索ツールをコールすることで,医療用VLMをこの反復的な方法で動作させるフレームワークであるGAZEを紹介する。
NOVAでは、281の稀な神経疾患を含む906例の脳MRIのベンチマークで、GAZEは、病変の局在と病変の局在を共通点(IoU)0.3で58.2の平均精度(mAP)に達する。
論文 参考訳（メタデータ） (2026-04-25T13:38:49Z) - Medical thinking with multiple images [44.04557445622649]
我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。
データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。
テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
論文 参考訳（メタデータ） (2026-04-14T18:51:07Z) - Evaluating Reasoning Faithfulness in Medical Vision-Language Models using Multimodal Perturbations [19.488236277427358]
視覚言語モデル(VLM)は、しばしばチェーン・オブ・シント(CoT)の説明を生み出す。
胸部X線視覚質問応答(VQA)の臨床的基盤として,制御されたテキストと画像修正を用いてCoT忠実度を探索するフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-13T09:28:22Z) - Lung Disease Detection with Vision Transformers: A Comparative Study of Machine Learning Methods [0.0]
本研究では,機械学習における最先端アーキテクチャであるビジョントランスフォーマー(ViT)の胸部X線解析への応用について検討する。
胸部X線像と肺分画領域に焦点を当てた2つのViT法の比較検討を行った。
論文 参考訳（メタデータ） (2024-11-18T08:40:25Z) - DualAttNet: Synergistic Fusion of Image-level and Fine-Grained Disease
Attention for Multi-Label Lesion Detection in Chest X-rays [1.3367903535457364]
胸部X線写真におけるDualAttNet(DualAttNet)というマルチラベル病変検出のための二重注意制御モジュールを提案する。
画像レベルの注意ブロックと微細な疾患注意アルゴリズムに基づいて、グローバルおよびローカルな病変分類情報を効率的に融合する。
論文 参考訳（メタデータ） (2023-06-23T23:19:27Z) - Attention-based Saliency Maps Improve Interpretability of Pneumothorax
Classification [52.77024349608834]
視覚変換器(ViT)の胸部X線撮影(CXR)分類性能と注意ベース唾液の解釈可能性について検討する。
ViTは、CheXpert、Chest X-Ray 14、MIMIC CXR、VinBigDataの4つの公開データセットを用いて、肺疾患分類のために微調整された。
ViTsは最先端のCNNと比べてCXR分類AUCに匹敵するものであった。
論文 参考訳（メタデータ） (2023-03-03T12:05:41Z) - Automated SSIM Regression for Detection and Quantification of Motion
Artefacts in Brain MR Images [54.739076152240024]
磁気共鳴脳画像における運動アーチファクトは重要な問題である。
MR画像の画質評価は,臨床診断に先立って基本的である。
構造類似度指数(SSIM)回帰に基づく自動画像品質評価法が提案されている。
論文 参考訳（メタデータ） (2022-06-14T10:16:54Z) - Vision Transformers for femur fracture classification [59.99241204074268]
Vision Transformer (ViT) はテスト画像の83%を正確に予測することができた。
史上最大かつ最もリッチなデータセットを持つサブフラクチャーで良い結果が得られた。
論文 参考訳（メタデータ） (2021-08-07T10:12:42Z) - A multicenter study on radiomic features from T$_2$-weighted images of a
customized MR pelvic phantom setting the basis for robust radiomic models in
clinics [47.187609203210705]
骨盤ファントムの2Dおよび3D T$$-weightedイメージを3つのスキャナーで取得した。
放射線学的特徴の再現性と再配置を評価した。
論文 参考訳（メタデータ） (2020-05-14T09:24:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。