論文の概要: Beyond Benchmark Scores: Auditing Medical Vision-Language Models for Chest X-Ray Tuberculosis Screening
- arxiv url: http://arxiv.org/abs/2609.21763v1
- Date: Fri, 18 Sep 2026 13:33:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.128975
- Title: Beyond Benchmark Scores: Auditing Medical Vision-Language Models for Chest X-Ray Tuberculosis Screening
- Title（参考訳）: ベンチマークスコアを超えて:胸部X線結核スクリーニングのための医療ビジョンランゲージモデルの検討
- Abstract要約: 医学モデルのベンチマークスコアは、同じ結論が異なる評価の下で成り立つことを証明していない。
本研究は,コホート,プロンプト,負スペクトル,特定の有病率,動作しきい値の変化がモデルランキング,スコア信頼性,スクリーニング性能に与える影響を検証した。
- 参考スコア（独自算出の注目度）: 7.698602367824994
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A medical model's benchmark score does not establish that the same conclusion holds under a different evaluation. This study tests whether claims about model ranking, score reliability and screening performance survive changes in cohort, prompt, negative spectrum, specified prevalence and operating threshold. We audit three medical vision-language models (BioMedCLIP, CheXficient, and MedSigLIP) and a general-domain OpenCLIP comparator on 12,200 chest radiograph records from four datasets (Montgomery, Shenzhen, TBX11K, and VinDr-CXR). Five fixed prompt families yield 244,000 model--image--prompt scores. No model leads every cohort and reliability criterion. Prompt-family changes alter AUROC in 21 of 48 multiplicity-controlled comparisons. Replacing healthy controls with sick non-tuberculosis controls reduces AUROC by 0.075--0.306 across all four models. On VinDr-CXR, the three medical models distinguish tuberculosis from no-finding controls substantially better than from pneumonia or lung tumor; their AUROC point estimates for both named diseases fall below 0.5. CheXficient has documented VinDr-CXR pretraining exposure, which limits the interpretation of its results. Thresholds chosen for 95\% sensitivity on TBX11K training retain that constraint by point estimate in only four of sixteen target evaluations. A five-seed supervised source model reaches 0.999 AUROC on TBX11K validation but 0.629 on each of two external cohorts. Conservative exclusion of perceptual-overlap candidates narrows this gap without closing it. These retrospective, single-task results show that discrimination, score reliability and threshold retention support different portability claims. Evidence for chest X-ray tuberculosis screening should identify the complete evaluation specification rather than attribute clinical portability to a checkpoint alone.
- Abstract（参考訳）: 医学モデルのベンチマークスコアは、同じ結論が異なる評価の下で成り立つことを証明していない。
本研究は,コホート,プロンプト,負スペクトル,特定の有病率,動作しきい値の変化がモデルランキング,スコア信頼性,スクリーニング性能に与える影響を検証した。
医用ビジョン言語モデル(BioMedCLIP, CheXficient, MedSigLIP)と4つのデータセット(Montgomery, Shenzhen, TBX11K, VinDr-CXR, VinDr-CXR)から12,200個の胸部X線写真記録の一般領域OpenCLIPコンパレータを検査した。
5つの固定プロンプトファミリーは244,000のモデル-画像-プロンプトスコアを得る。
すべてのコホートと信頼性基準を導くモデルは存在しない。
プロンプトファミリーの変化はAUROCを48の乗数制御比較のうち21に変化させた。
病気の非結核コントロールによる健康管理のリプレースにより、AUROCは4つのモデルで0.075-0.306減少する。
VinDr-CXRでは、結核を肺炎や肺腫瘍よりもはるかに優れた治療薬と区別する。
CheXficientは、VinDr-CXR事前訓練露光を文書化した。
TBX11Kトレーニングに対する95%の感度で選択された閾値は、ポイント推定による制約を16の目標評価のうち4つに留まる。
TBX11K検証では0.999 AUROCに達するが、2つの外部コホートでは0.629となる。
知覚的オーバーラップ候補の保守的排除は、それを閉じることなくこのギャップを狭める。
これらの振り返り、シングルタスクの結果は、識別、スコアの信頼性、しきい値保持が異なるポータビリティのクレームをサポートすることを示している。
胸部X線結核検診の証拠は, 検診点のみに臨床移植性を見いだすのではなく, 完全な評価基準を特定すべきである。
関連論文リスト
- Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models [0.0]
スクリーニングモデルは、レシーバー操作特性曲線(AUROC)の領域を0.89付近で定期的に報告する。
心臓梗塞に対するリニア,ツリーアンサンブル,ニューラル,ガラスボックス,タブ状ファンデーションにまたがる10種類の分類器をベンチマークした。
診断後の2つの特徴を取り除いたため、全てのモデル 0.049-0.051 AUROC はフィールドを0.0045幅のバンドに崩壊させた。
ある閾値では、男性の89.0%に対して女性の脳梗塞の75.4%が検出され、モデルの形状機能の編集により、ギャップは0.010に縮小された。
論文 参考訳（メタデータ） (2026-09-10T17:29:15Z) - CARDEA: Auditable Reasoning Grounded in Spatial Evidence for End-to-End Coronary Angiography Interpretation [0.0]
既存のAIシステムは一貫性を向上させることができるが、監査可能な意思決定プロセスが欠如している。
我々はCAGパイプラインの推論コアとして機能する統合された大きな視覚言語モデルであるCARDEAを開発した。
CARDEAは、選択から研究レベルの診断を通じて、生のマルチビュービデオからエンドツーエンドのCAGパイプラインを実行する。
論文 参考訳（メタデータ） (2026-09-07T02:01:27Z) - Auditable agentic AI for evidence-grounded thyroid ultrasound diagnosis and reporting [59.709162055944915]
ThyroidXAgentは、特殊な診断ツールをコーディネートし、その出力を監査可能なケースレベルの証拠記録として保存するエージェントAIシステムである。
NHC-MISD-TUSコホート内35施設8,721件を含む,重複しない28,458件の検査を行った。
セグメンテーションでは平均Diceスコアが87.21パーセント、良悪性分類では平均AUROCが0.9466だった。
論文 参考訳（メタデータ） (2026-08-12T21:02:59Z) - KAISEN: Reproducible Subgroup Fairness Auditing for Clinical Risk Models [0.0]
KAISENは、サブグループの成層、不均質の測定、メカニズム診断、ポストホック緩和、ドリフトモニタリングを含む5段階の監査パイプラインである。
すべての結果は、既知の根拠の真実と共に合成され、臨床的妥当性が確立されない。
論文 参考訳（メタデータ） (2026-07-30T17:57:18Z) - RareLens: Towards End-to-End Rare Disease Care via Aligning Divergent Large Language Model Reasoning [42.80742579670377]
RareLensは、まれな疾患の軌跡全体にわたる臨床的意思決定を支援するシステムである。
RareBenchは、33のOrphanetカテゴリと7000以上の条件にまたがる157,525件の実際のデータセットである。
検診で0.917、診断と治療で65.5%、89.8%の成績を収めた。
論文 参考訳（メタデータ） (2026-07-25T16:58:10Z) - Comparative Analysis of Deep Learning Architectures for Multi-Disease Classification of Single-Label Chest X-rays [1.1470070927586018]
本研究では,多型胸部疾患分類のための7つのディープラーニングアーキテクチャの比較検討を行った。
ConvNeXt-Tinyは92.31%の精度、95.70%のAUROCを達成し、MobileNetV2は3.5Mパラメータ、90.42%の精度、94.10%のAUROCを達成した。
以上の結果より,高精度胸部X線分類が過剰な計算資源を伴わずに達成できることが示唆された。
論文 参考訳（メタデータ） (2026-03-11T07:52:36Z) - A DeepSeek-Powered AI System for Automated Chest Radiograph Interpretation in Clinical Practice [83.11942224668127]
Janus-Pro-CXR (1B) はDeepSeek Janus-Proモデルに基づく胸部X線解釈システムである。
本システムは, 自動レポート生成において, 最先端のX線レポート生成モデルより優れる。
論文 参考訳（メタデータ） (2025-12-23T13:26:13Z) - Neural Discrete Representation Learning for Sparse-View CBCT Reconstruction: From Algorithm Design to Prospective Multicenter Clinical Evaluation [64.42236775544579]
コーンビームCT(CBCT)ガイド下穿刺は胸部腫瘍の診断・治療に確立されたアプローチとなっている。
DeepPriorCBCTは3段階のディープラーニングフレームワークであり、従来の放射線線量の6分の1しか使用せずに診断段階の再構築を実現する。
論文 参考訳（メタデータ） (2025-11-30T12:45:02Z) - Diagnostic Accuracy of Open-Source Vision-Language Models on Diverse Medical Imaging Tasks [1.6567957832859204]
このデータセットは, 胸部X線撮影, 大腸病理検査, 内視鏡検査, 新生児黄体診, 網膜内視鏡検査を含む7,461例の22,349枚の画像を含む。
Qwen2.5 は胸部X線写真 (90.4%) と内視鏡画像 (84.2%) で最高精度を達成し、他のモデル (p.001) よりも大幅に優れていた。
Qwen2.5とGemma3は18.6%(比較可能、p=.99)で、他の試験されたモデル(p.001)よりもはるかに優れている。
論文 参考訳（メタデータ） (2025-08-01T18:28:37Z) - Detection of subclinical atherosclerosis by image-based deep learning on chest x-ray [86.38767955626179]
460胸部X線で冠状動脈カルシウム(CAC)スコアを予測する深層学習アルゴリズムを開発した。
AICACモデルの診断精度は, 曲線下領域(AUC)で評価された。
論文 参考訳（メタデータ） (2024-03-27T16:56:14Z) - Predicting COVID-19 Pneumonia Severity on Chest X-ray with Deep Learning [57.00601760750389]
前頭部胸部X線画像の重症度予測モデルを提案する。
このようなツールは、エスカレーションやケアの非エスカレーションに使用できる新型コロナウイルスの肺感染症の重症度を測定することができる。
論文 参考訳（メタデータ） (2020-05-24T23:13:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。