論文の概要: Aggregate Accuracy Hides Diagnosis-Specific Failure in Medical Vision-Language Models
- arxiv url: http://arxiv.org/abs/2611.14975v1
- Date: Wed, 11 Nov 2026 03:35:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.999044
- Title: Aggregate Accuracy Hides Diagnosis-Specific Failure in Medical Vision-Language Models
- Title(参考訳): アグリゲート精度は診断の失敗を隠蔽する 医用視力-言語モデル
- Abstract要約: 我々は6,048人のChestX-ray14質問に対して、性別、年齢、発見、ラベルによる5つのオープン医療ビジョン言語モデル(VLM)を検査した。
432個の気胸陽性X線では、HuatuoGPT-VisionとQwen2.5-VLがゼロケースを検出し、MedGemmaとLingshuは同じ画像の38%と67%を検出した。
2つの失敗したモデルは、すべての864肺気胸症例(正確には0.500の確率でバランスが取れた)に「ノー」と答えるが、解剖学的に特異的に肺崩壊の兆候を名付け、それを否定する説明を与える。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Medical vision-language models (VLMs) are compared mainly by accuracy averaged across findings, a summary that can hide complete failure on a single diagnosis. We audit five open medical VLMs (MedGemma-4B, Lingshu-7B, HuatuoGPT-Vision-7B, Qwen2.5-VL-7B, and MedVLM-R1) on 6,048 ChestX-ray14 questions balanced by sex, age, finding, and label. On the 432 pneumothorax-positive X-rays, HuatuoGPT-Vision and Qwen2.5-VL detect zero cases while MedGemma and Lingshu detect 38% and 67% of the same images. The two failing models answer "no" to all 864 pneumothorax cases (balanced accuracy 0.500, chance), yet produce fluent, anatomically specific explanations that name the signs of a collapsed lung and then deny them, with no hedge or abstention. This failure is not an artifact of prompting, image resolution, label ambiguity, or model scale. It persists across four prompt formats, at native resolution, and on single-label cases. A within-model control shows the same forced prompt gives HuatuoGPT 79% recall on nodule but only 6% on pneumothorax. It survives a tenfold scale increase (Qwen2.5-VL-72B detects 4%) and replicates on SIIM-ACR, an independent dataset with radiologist-drawn masks, where the failing models detect 0 of 432 confirmed pneumothoraces, including 0 of the 144 largest lesions. Reading the models' logits and internal states shows this is not blindness. The two failing models are highly confident yet no better than chance and a linear probe recovers pneumothorax from their hidden representations even where recall is zero, so the finding is represented internally but suppressed at the output. Aggregate accuracy therefore cannot establish that a medical VLM can see a given finding, because a model that misses one can still describe it convincingly. Reporting per-finding recall and specificity on balanced cases is needed to tell the difference.
- Abstract(参考訳): 医用視覚言語モデル(VLM)は、主に、単一の診断で完全な失敗を隠蔽できる要約である、結果の平均値によって比較される。
5つのオープン医療VLM(MedGemma-4B,Lingshu-7B,HuatuoGPT-Vision-7B,Qwen2.5-VL-7B,MedVLM-R1)を6,048のChestX-ray14質問に対して,性別,年齢,発見,ラベルのバランスで検査した。
432個の気胸陽性X線では、HuatuoGPT-VisionとQwen2.5-VLがゼロケースを検出し、MedGemmaとLingshuは同じ画像の38%と67%を検出した。
不全した2つのモデルは、すべての864気胸の症例(正確には0.500、チャンス)に「ノー」と答え、しかし、崩壊した肺の徴候を名づけてそれを否定する、流動的で解剖学的に特異的な説明を生み出す。
この失敗は、プロンプト、画像の解像度、ラベルのあいまいさ、またはモデルスケールの成果物ではない。
4つのプロンプトフォーマット、ネイティブ解像度、シングルラベルケースに持続する。
モデル内制御では、HuatuoGPT 79%が結節でリコールするが、気胸で6%しかリコールしない。
10倍のスケール増加(Qwen2.5-VL-72Bは4%)を生き延び、放射線学者が引き起こした独立したデータセットであるSIIM-ACRに複製する。
モデルのロジットと内部状態を読むと、これは盲目ではないことがわかる。
2つの失敗モデルは非常に自信があるが、チャンスに勝るものはなく、線形プローブはリコールがゼロであっても隠れた表現から気胸を回復するので、発見は内部的に表現されるが出力で抑制される。
したがって、アグリゲート精度は、医学的なVLMが与えられた発見を見ることができることを証明できない。
差分を判断するためには、ファイリング毎のリコールとバランスの取れたケースの特異性を報告する必要がある。
関連論文リスト
- Answer or Defer? Testing VLMs' Stated Confidence on Brain MRI [0.13999481573773073]
しきい値に記載された信頼度が、エラーを抑えながら有用なカバレッジを維持することができるかどうかを検証する。
BraTSでは、任意のモデルに対して少なくとも5%の経験的エラーを持つ空でないセットを、たとえ振り返って選択しても、しきい値が選択されない。
結果レベルの要約が利用可能な4つのモデルにおいて、プールされた平均信頼度は、各回答の正解と誤応答の間により異なる。
論文 参考訳(メタデータ) (2026-11-09T03:50:05Z) - Seeing Is Not Believing: Counterfactual Lesion Erasure Teaches a Small Medical Vision-Language Agent to Report Only What the Image Shows [0.0]
消去された画像と未編集の画像のトレーニングは、小さなモデルにエビデンス付きの配置を与え、フロンティアモデルを与えない。
除去された画像と未編集画像のトレーニングは、小さなモデルに、フロンティアモデルを与えない、証拠を公言した配置を与える。
論文 参考訳(メタデータ) (2026-11-08T23:09:18Z) - Conviction Without Evidence: Verdict Stability Is Independent of Visual Grounding in Medical Vision--Language Models [49.88241584666155]
ヴィジュアル言語モデルは診断画像を用いることなく正しい診断に到達でき、代わりに臨床ヴィグネットから推測される。
モデルは、空白のプレースホルダーから派生した診断を、実際の医学的イメージから派生した診断と微妙に守りますか?
60件のイタリア国家試験項目に対する2段階の反対圧力で画像置換プロトコルを通過させると、未解決の評決がより脆弱であることを示す証拠は見つからない。
論文 参考訳(メタデータ) (2026-10-25T19:23:29Z) - Beyond Benchmark Scores: Auditing Medical Vision-Language Models for Chest X-Ray Tuberculosis Screening [7.698602367824994]
医学モデルのベンチマークスコアは、同じ結論が異なる評価の下で成り立つことを証明していない。
本研究は,コホート,プロンプト,負スペクトル,特定の有病率,動作しきい値の変化がモデルランキング,スコア信頼性,スクリーニング性能に与える影響を検証した。
論文 参考訳(メタデータ) (2026-09-18T13:33:57Z) - RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。
RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。
検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
論文 参考訳(メタデータ) (2026-07-25T16:58:10Z) - Attention Without Grounding: Causal Evaluation of Visual Explanations in Medical VLMs [2.064612766965483]
胸部X線におけるVLM(Vision-Language Model)の出力を説明するために,注意とサリエンシのヒートマップが広く用いられている。
PadChestの放射線学的バウンディングボックスと重なり合うことで,忠実さを検査する。
LLaVA-RADとQwen3-VL-8B-InstructとCheXagent-2-3bの3種類のMedGemma-4B変異体について検討した。
論文 参考訳(メタデータ) (2026-07-20T23:19:28Z) - A Controlled Audit of Pretraining Contamination in Public Medical Vision-Language Benchmarks [46.43161388634735]
医用視覚言語モデル(VLM)は、画像と質問応答ペアが何年も無料でダウンロードされている公開ベンチマークで評価される。
SLAKE-En,PathVQA,VQA-RAD,および4つの検出器ファミリを用いたOmniMedVQAミラーのオープンVLMを検査した。
論文 参考訳(メタデータ) (2026-06-08T18:40:10Z) - MedVIGIL: Evaluating Trustworthy Medical VLMs Under Broken Visual Evidence [24.517280048376758]
medvigilは4つの公開医療用VQAソースから作成された300ケースの評価スイートである。
あらゆるゴールド回答、拒絶オプション、候補答えセット、パラフレーズ、虚偽の前提トラップ、ROIボックス、臨床リスクレベルが臨床著者によって作成される。
メドビニル複合スコア(MCS)に要約した7つの正当性条件監査指標を報告する。
独立した放射線学者は、静電気障害率5.8%でMCS 83.3をスコアし、14.1ポイントの複合ヘッドルームを最強の監査モデルの上に残した。
論文 参考訳(メタデータ) (2026-05-08T15:55:30Z) - StRegA: Unsupervised Anomaly Detection in Brain MRIs using a Compact
Context-encoding Variational Autoencoder [48.2010192865749]
教師なし異常検出(UAD)は、健康な被験者の異常なデータセットからデータ分布を学習し、分布サンプルの抽出に応用することができる。
本研究では,コンテクストエンコーディング(context-encoding)VAE(ceVAE)モデルのコンパクトバージョンと,前処理と後処理のステップを組み合わせて,UADパイプライン(StRegA)を作成することを提案する。
提案したパイプラインは、BraTSデータセットのT2w画像と0.859$pm$0.112の腫瘍を検出しながら、Diceスコアが0.642$pm$0.101に達した。
論文 参考訳(メタデータ) (2022-01-31T14:27:35Z) - Predicting COVID-19 Pneumonia Severity on Chest X-ray with Deep Learning [57.00601760750389]
前頭部胸部X線画像の重症度予測モデルを提案する。
このようなツールは、エスカレーションやケアの非エスカレーションに使用できる新型コロナウイルスの肺感染症の重症度を測定することができる。
論文 参考訳(メタデータ) (2020-05-24T23:13:16Z) - Viral Pneumonia Screening on Chest X-ray Images Using Confidence-Aware
Anomaly Detection [86.81773672627406]
短期間のウイルス性肺炎の集団は、SARS、MERS、最近のCOVID-19のような流行やパンデミックのハービンガーである可能性がある。
胸部X線によるウイルス性肺炎の迅速かつ正確な検出は,大規模スクリーニングや流行予防に有用である。
ウイルス性肺炎はしばしば多彩な原因を持ち、X線画像に顕著な視覚的外観を示す。
論文 参考訳(メタデータ) (2020-03-27T11:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。