論文の概要: HalluCXR: Benchmarking and Mitigating Hallucinations in Medical Vision-Language Models for Chest Radiograph Interpretation
- arxiv url: http://arxiv.org/abs/2605.20469v1
- Date: Tue, 19 May 2026 20:30:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.366587
- Title: HalluCXR: Benchmarking and Mitigating Hallucinations in Medical Vision-Language Models for Chest Radiograph Interpretation
- Title(参考訳): HalluCXR : 胸部X線写真解釈のための医用視覚言語モデルにおける幻覚のベンチマークと緩和
- Authors: Haoyu Wang, Zitong Li,
- Abstract要約: HalluCXRは、856個の胸部X線写真から6つのアーキテクチャ的に多様な視覚言語モデルを評価するベンチマークである。
61.9--82.3%のアウトプットには幻覚が含まれており、臨床的に危険なエラーは最大80.2%である。
これらの結果から, 幻覚検査, 冗長性に基づくリスクモニタリング, アンサンブルに基づく安全層が臨床展開の前提条件であることが確認された。
- 参考スコア(独自算出の注目度): 7.512887610816016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language models (VLMs) are increasingly used for medical image interpretation, yet they frequently hallucinate, generating clinically plausible but factually incorrect findings that pose direct patient safety risks. We introduce HalluCXR, a benchmark evaluating six architecturally diverse VLMs across 856 stratified MIMIC-CXR chest radiographs and three query types, yielding 15,408 model evaluations. An eight-category hallucination taxonomy with clinical severity ratings and a two-layer detection pipeline are validated against 250 human annotations (auto-detection F1=0.959; LLM judge F1=0.907). We find that 61.9--82.3% of outputs contain hallucinations, with clinically dangerous errors in up to 80.2%. Three key patterns emerge: normal radiographs paradoxically attract the most severe hallucinations, common findings are systematically over-fabricated while rare findings go under-detected, and response length alone predicts hallucination risk (AUC up to 0.908). A six-model ensemble reduces fabrication by up to 84.8% at the cost of increased omission; a three-model subset retains comparable performance at half the cost. These results establish that hallucination auditing, verbosity-based risk monitoring, and ensemble-based safety layers are prerequisites for clinical deployment.
- Abstract(参考訳): ヴィジュアル言語モデル(VLM)は、医療画像の解釈にますます使われてきているが、しばしば幻覚を起こし、臨床上は妥当だが、患者に直接的な安全リスクをもたらす事実的に誤った発見をもたらす。
856個の層状MIMIC-CXR胸部X線写真と3種類のクエリタイプにまたがる6つのアーキテクチャ上の多様性を評価するベンチマークであるHuraCXRを導入し、15,408個のモデル評価を得た。
臨床重症度の高い8カテゴリーの幻覚分類と2層検出パイプラインを250個のヒトアノテーション(自動検出F1=0.959; LLM判定F1=0.907; LLM判定F1=0.907)に対して検証した。
61.9--82.3%のアウトプットには幻覚が含まれており、臨床的に危険なエラーは最大80.2%である。
通常のX線写真はパラドックス的に最も重篤な幻覚を惹きつけるが、一般的な発見は体系的に過剰にファブリックされ、希少な発見は過度に検出され、応答長だけで幻覚リスク(AUC 0.908)を予測する。
6モデルアンサンブルは製造コストを最大84.8%削減し、3モデルサブセットは同等の性能を半分のコストで維持する。
これらの結果から, 幻覚検査, 冗長性に基づくリスクモニタリング, アンサンブルに基づく安全層が臨床展開の前提条件であることが確認された。
関連論文リスト
- HalluScan: A Systematic Benchmark for Detecting and Mitigating Hallucinations in Instruction-Following LLMs [0.0]
大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。
しかし、それらは幻覚に影響を受けやすい - 事実的に不正確で、提供されたコンテキストに反するコンテンツを生成したり、ユーザ指示に反する。
本稿では,72構成の幻覚検出と緩和を体系的に評価する総合ベンチマークフレームワークであるHaluScanを紹介する。
論文 参考訳(メタデータ) (2026-05-04T10:43:27Z) - GAZE: Grounded Agentic Zero-shot Evaluation with Viewer-Level Tools and Literature Retrieval on Rare Brain MRI [0.0]
視覚言語モデル(VLM)は画像を読み、単一の前方通過でテキストを生成するのに対し、放射線学者は通常、画像を調べてレポートを書く前に文献を参照する。
我々は,米国国立医学図書館が支援するビューアーレベルのツールと2つの検索ツールをコールすることで,医療用VLMをこの反復的な方法で動作させるフレームワークであるGAZEを紹介する。
NOVAでは、281の稀な神経疾患を含む906例の脳MRIのベンチマークで、GAZEは、病変の局在と病変の局在を共通点(IoU)0.3で58.2の平均精度(mAP)に達する。
論文 参考訳(メタデータ) (2026-04-25T13:38:49Z) - Medical thinking with multiple images [44.04557445622649]
我々はMedThinkVQAを紹介した。MedThinkVQAは、複数の画像で考えるためのエキスパートアノテーション付きベンチマークである。
データセットは720のテストケースを含む8,067ケースを含み、1ケースあたり平均6.62イメージである。
テストセットでは、最高のクローズドソースモデルであるClaude-4.6-Opus、Gemini-3-Pro、GPT-5.2-xhighは57.2%、55.3%、54.9%の精度しか達成できなかった。
論文 参考訳(メタデータ) (2026-04-14T18:51:07Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳(メタデータ) (2026-03-02T00:50:39Z) - Suppressing Prior-Comparison Hallucinations in Radiology Report Generation via Semantically Decoupled Latent Steering [94.37535002230504]
本研究では,Semantically Decoupled Latent Steeringと呼ばれる学習自由な推論時間制御フレームワークを開発した。
提案手法は,大言語モデル (LLM) による意味分解による意味のない介入ベクトルを構築する。
本手法は歴史的幻覚の可能性を著しく低下させることを示す。
論文 参考訳(メタデータ) (2026-02-27T04:49:01Z) - Diagnosing Hallucination Risk in AI Surgical Decision-Support: A Sequential Framework for Sequential Validation [5.469454486414467]
大言語モデル (LLMs) は脊椎手術における臨床的決定支援の転換的可能性を提供する。
LLMは幻覚を通じて重大なリスクを引き起こすが、これは事実的に矛盾しているか、文脈的に不一致な出力である。
本研究は, 診断精度, 推奨品質, 推理堅牢性, 出力コヒーレンス, 知識アライメントを評価することによって, 幻覚リスクを定量化するための臨床中心の枠組みを提案する。
論文 参考訳(メタデータ) (2025-11-01T15:25:55Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳(メタデータ) (2025-09-24T14:09:55Z) - Trustworthy AI for Medicine: Continuous Hallucination Detection and Elimination with CHECK [1.3638020767676653]
大規模言語モデル(LLMs)は医療において有望であるが、幻覚は臨床利用にとって大きな障壁である。
構造化された臨床データベースを統合して幻覚を検出する継続的学習フレームワークであるCHECKについて述べる。
論文 参考訳(メタデータ) (2025-06-10T17:12:28Z) - Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
基礎モデルの幻覚は自己回帰訓練の目的から生じる。
トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
論文 参考訳(メタデータ) (2025-02-26T02:30:44Z) - MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。
GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。
双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
論文 参考訳(メタデータ) (2025-02-20T06:33:23Z) - CXR-LLAVA: a multimodal large language model for interpreting chest
X-ray images [3.0757789554622597]
本研究の目的は,胸部X線画像(CXR)を解釈するためのオープンソースのマルチモーダル大言語モデル(CXR-LLAVA)を開発することである。
トレーニングでは,592,580個のCXRを収集し,そのうち374,881個のX線写真異常のラベルが得られた。
主な病理所見に対する診断成績と,ヒト放射線技師による放射線学的報告の受容性について検討した。
論文 参考訳(メタデータ) (2023-10-22T06:22:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。