論文の概要: Visually Irrelevant Hallucinations in Medical Vision-Language Models

• arxiv url: http://arxiv.org/abs/2610.38389v1
• Date: Wed, 28 Oct 2026 07:29:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-03 18:03:43.76051
• Title: Visually Irrelevant Hallucinations in Medical Vision-Language Models
• Title（参考訳）: 医用視力モデルにおける視覚的無関係幻覚
• Abstract要約: 句レベルの幻覚リスク推定のためのモデルに依存しないフレームワークであるCLEARを提案する。 CLEARは生成した応答を視覚的に評価可能な臨床フレーズに分解する。 CLEARは、複数の医学的および汎用的な医療ビジョン言語モデルにおいて、最先端の幻覚検出ベースラインを上回っている。
• 参考スコア（独自算出の注目度）: 41.99242903985515
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Medical vision-language models (VLMs) show strong performance in radiology report generation (RRG) and medical visual question answering (Med-VQA), producing free-form clinical descriptions and answers from medical images. However, they may generate clinically meaningful statements that lack visual evidence or contradict image content. We refer to these errors as visually irrelevant hallucinations and investigate them at the phrase level. We propose CLEAR (Counterfactual Localized Evaluation of Alignment and Response), a model-agnostic post-hoc framework for phrase-level hallucination risk estimation. CLEAR decomposes generated responses into visually assessable clinical phrases. For each phrase, phrase-conditioned grounding identifies a candidate visual region, which is selectively perturbed by a localized counterfactual intervention. CLEAR characterizes the intervention using two complementary auditing cues: response cues, capturing semantic and clinically meaningful changes in the generated response, and alignment cues, measuring changes in image-phrase compatibility. These cues are normalized and jointly modeled to estimate phrase-level hallucination risk. Across four datasets spanning RRG and Med-VQA, CLEAR outperforms state-of-the-art hallucination detection baselines across multiple medical and general-purpose VLMs. On MIMIC-CXR, CLEAR improves AUPRC from 85.10% to 90.23%. Its effectiveness is further validated on a GT-derived controlled VIH benchmark. These results establish visually irrelevant hallucination as an important fine-grained reliability failure mode in medical VLMs and demonstrate the value of model-agnostic visual-support auditing for more trustworthy multimodal clinical generation.
• Abstract（参考訳）: 医用視覚言語モデル (VLM) は放射線診断レポート生成 (RRG) と医療用視覚質問応答 (Med-VQA) において高い性能を示し, 医用画像から自由形式の臨床記述と回答を生成する。 しかし、視覚的証拠が欠如し、画像内容に矛盾する臨床的に有意義な記述を生じる可能性がある。 我々はこれらの誤りを視覚的に無関係な幻覚と呼び、フレーズレベルでそれらを調査する。 句レベルの幻覚リスク推定のためのモデルに依存しないポストホックフレームワークであるCLEAR(Counterfactal Localized Evaluation of Alignment and Response)を提案する。 CLEARは生成した応答を視覚的に評価可能な臨床フレーズに分解する。 各フレーズに対して、句条件付き接地は、局所的な対実的介入によって選択的に摂動される候補視覚領域を特定する。 CLEARは2つの相補的な監査手段を用いて介入を特徴付ける: 応答キュー、生成した応答における意味的および臨床的に意味のある変化を捉え、アライメントキュー、画像-フレーズの互換性の変化を測定する。 これらの手がかりは正規化され、句レベルの幻覚リスクを推定するために共同でモデル化される。 RRGとMed-VQAにまたがる4つのデータセットで、CLEARは複数の医療用および汎用VLMで最先端の幻覚検出ベースラインを上回っている。 MIMIC-CXRでは、CLEARはAUPRCを85.10%から90.23%に改善した。 その効果は、GT由来の制御されたVIHベンチマークでさらに検証される。 これらの結果は、医療用VLMにおいて、視覚的に無関係な幻覚を重要なきめ細かな信頼性障害モードとして確立し、より信頼性の高いマルチモーダル臨床生成のためのモデル非依存型視覚支援監査の価値を実証する。

関連論文リスト

• Hallucination Detection and Correction in Medical VLMs via Counter-Evidence Verification [44.48746443825558]
  医用診断における視覚言語モデル (VLM) の信頼性は, 信頼を損なう幻覚によって問題視される。 幻覚を検知し修正する訓練不要なプラグアンドプレイフレームワークであるCoEV(Counter-Evidence Verification)を提案する。 幻覚検出のために、CoEVは既存の手法を一貫して上回り、平均的なPR-AUCとROC-AUCを改善している。 幻覚補正のためには、Micro-F1を最大12.5%改善し、医療報告生成において幻覚率を11.9%以上削減し、医療用VQAの精度を向上する。
  論文  参考訳（メタデータ） (2026-06-17T02:14:44Z)
• VIHD: Visual Intervention-based Hallucination Detection for Medical Visual Question Answering [27.827862126990553]
  幻覚は臨床的な意思決定にリスクをもたらし、効果的な検出を必要とする。 既存のイントロスペクティブ検出法は、主に不確実性推定や論理的検証を行う。 視覚的介入に基づく幻覚検出法であるVIHDを提案する。
  論文  参考訳（メタデータ） (2026-05-20T06:14:45Z)
• VCE: A zero-cost hallucination mitigation method of LVLMs via visual contrastive editing [70.82867621856968]
  大きな視覚言語モデル(LVLM)は、しばしば物体幻覚(OH)に悩まされる 近年の研究では、幻覚の問題は言語の先行に起因している可能性が示唆されている。 本稿では視覚コントラスト編集(VCE)を提案する。
  論文  参考訳（メタデータ） (2026-04-21T12:40:07Z)
• Med-VCD: Mitigating Hallucination for Medical Large Vision Language Models through Visual Contrastive Decoding [0.8431877864777443]
  医用LVLMにおける幻覚を、二次復号の時間的オーバーヘッドを伴わずに緩和する、疎視的復号法であるMed-VCDを導入する。 以上の結果から,Med-VCDは平均13%,幻覚精度は6%向上した。
  論文  参考訳（メタデータ） (2025-12-01T17:40:03Z)
• Generate, but Verify: Reducing Hallucination in Vision-Language Models with Retrospective Resampling [78.78822033285938]
  VLM(Vision-Language Models)は視覚的理解に優れ、視覚幻覚に悩まされることが多い。 本研究では,幻覚を意識したトレーニングとオンザフライの自己検証を統合した統合フレームワークREVERSEを紹介する。
  論文  参考訳（メタデータ） (2025-04-17T17:59:22Z)
• Vision-Amplified Semantic Entropy for Hallucination Detection in Medical Visual Question Answering [42.116697933322875]
  マルチモーダル大言語モデル(MLLM)は、医療用視覚質問応答(VQA)において有意な可能性を証明している。 入力画像と矛盾する幻覚的不適切な反応を呈し、臨床的な意思決定に重大なリスクをもたらす傾向にある。 現在の幻覚検出法,特に意味エントロピー(SE)は,LLMに対して有望な幻覚検出能力を示す。 本稿では、弱い画像変換を取り入れ、視覚入力の影響を増幅する視覚増幅セマンティックエントロピー(VASE)を提案する。
  論文  参考訳（メタデータ） (2025-03-26T12:45:34Z)
• Towards a Systematic Evaluation of Hallucinations in Large-Vision Language Models [57.58426038241812]
  LVLM(Large Vision-Language Models)は、複雑なマルチモーダルタスクにおいて顕著な性能を示す。 これらのモデルは、画像から様々な視覚的実体を暗黙的に認識または推測する必要がある場合、まだ幻覚に悩まされている。 本稿では,視覚的質問応答(VQA)ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-12-29T23:56:01Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。