論文の概要: Med-HEAL: Analyzing and Mitigating Hallucinations in Medical LLMs with Hallucination-Aware In-Context Learning

• arxiv url: http://arxiv.org/abs/2606.01301v1
• Date: Sun, 31 May 2026 15:43:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-02 21:34:29.563657
• Title: Med-HEAL: Analyzing and Mitigating Hallucinations in Medical LLMs with Hallucination-Aware In-Context Learning
• Title（参考訳）: Med-Heal:幻覚を意識した医学LLMにおける幻覚の分析と緩和
• Authors: Yiming Liao, Zeno Franco, Jose Eduardo Lizarraga Mazaba, Keke Chen,
• Abstract要約: 医学的大言語モデルにおける幻覚は臨床決定支援に重大なリスクをもたらす。 医療用LLMの幻覚を系統的に同定し,分析し,緩和するためのフレームワークであるMed-HEALを紹介する。
• 参考スコア（独自算出の注目度）: 8.322191814123315
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinations in medical large language models (LLMs) pose serious risks for clinical decision support, particularly when models must reason over complex electronic health records (EHRs). However, existing benchmarks often lack a realistic clinical context and provide limited insight into how hallucinations can be mitigated in practice. We introduce Med-HEAL, a framework for systematically identifying, analyzing, and mitigating hallucinations in medical LLMs using clinically grounded data. Building on the EHRNoteQA benchmark derived from MIMIC-IV discharge summaries, we construct a hallucination dataset by evaluating BioMistral-7B on open-ended clinical question answering tasks. Model outputs are labeled through a dual evaluation pipeline that combines LLM-as-a-Judge assessment (GPT-4o) with human auditing by medical student reviewers, producing correctness judgments and annotations of reasoning errors via a custom web-based evaluation system. We then leverage this dataset to investigate mitigation strategies: a self-critique pipeline, in which the test model reviews its own answers to detect potential errors and regenerates responses for flagged cases, and retrieval-augmented in-context learning (RA-ICL), which exposes the model to hallucinated and corrected examples. Experiments across five open-source LLMs-BioMistral, Llama-3.1, DeepSeek, Qwen2.5, and Qwen3, show that the self-critique strategy improves accuracy for three of five models (p < 0.05) without requiring parameter updates. Med-HEAL provides both a reusable hallucination dataset and a practical framework for studying and mitigating hallucinations in medical LLMs, supporting safer deployment of AI systems in clinical environments. Our code and data are publicly available at https://github.com/yimingliao-blad/med-heal.git.
• Abstract（参考訳）: 医学大言語モデル(LLMs)の幻覚は、特に複雑な電子健康記録(EHRs)をモデルが引き起こさなければならない場合、臨床決定支援に重大なリスクをもたらす。 しかし、既存のベンチマークでは現実的な臨床状況が欠如しており、幻覚が実際にどのように緩和されるかについての限られた洞察を与えている。 Med-HEAL(メド・ヘラル、Med-HEAL)は、臨床基礎データを用いて、医療用LLMの幻覚を系統的に同定し、分析し、緩和するためのフレームワークである。 MIMIC-IV 放電サマリーから得られた EHRNoteQA ベンチマークに基づいて,オープンエンド臨床質問応答タスクにおける BioMistral-7B の評価による幻覚データセットを構築した。 モデル出力は、LLM-as-a-Judgeアセスメント(GPT-4o)と医学生による人間監査を組み合わせた二重評価パイプラインを通じてラベル付けされ、カスタムWebベースの評価システムを通じて正確性判定と推論エラーのアノテーションを生成する。 自己批判パイプラインでは、テストモデルが自身の回答をレビューして潜在的なエラーを検出し、フラグ付きケースに対する応答を再生し、検索強化されたコンテキスト内学習(RA-ICL)により、モデルが幻覚的および修正された例に公開する。 オープンソースのLLMs-BioMistral、Llama-3.1、DeepSeek、Qwen2.5、Qwen3の5つの実験は、自己批判戦略がパラメータ更新を必要とせずに5つのモデルのうち3つの精度(p < 0.05)を改善することを示した。 Med-HEALは、再利用可能な幻覚データセットと、医療用LLMにおける幻覚の研究と緩和のための実践的なフレームワークの両方を提供し、臨床環境におけるAIシステムの安全な展開をサポートする。 私たちのコードとデータはhttps://github.com/yimingliao-blad/med-heal.git.comで公開されています。

関連論文リスト

• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• A Systematic Literature Review of Code Hallucinations in LLMs: Characterization, Mitigation Methods, Challenges, and Future Directions for Reliable AI [54.34738767990601]
  大規模言語モデルがソフトウェアエンジニアリングタスクに統合されるにつれ、コードの幻覚の理解と緩和が不可欠になる。 コード指向LLMにおける幻覚現象を4つの重要な観点から体系的に検討する。
  論文  参考訳（メタデータ） (2025-11-02T02:58:41Z)
• MIRAGE-Bench: LLM Agent is Hallucinating and Where to Find Them [52.764019220214344]
  幻覚は、大きな言語モデル(LLM)ベースのエージェントに重大なリスクをもたらす。 MIRAGE-Benchは対話型環境における幻覚の抽出と評価のための最初の統一ベンチマークである。
  論文  参考訳（メタデータ） (2025-07-28T17:38:29Z)
• Medical Hallucinations in Foundation Models and Their Impact on Healthcare [71.15392179084428]
  基礎モデルの幻覚は自己回帰訓練の目的から生じる。 トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
  論文  参考訳（メタデータ） (2025-02-26T02:30:44Z)
• MedHallBench: A New Benchmark for Assessing Hallucination in Medical Large Language Models [0.0]
  医療大言語モデル(MLLM)は医療応用の可能性を示している。 幻覚に対する寛容性は、患者医療に重大なリスクをもたらす。 本稿では,MLLMにおける幻覚の評価と緩和のためのベンチマークフレームワークであるMedHallBenchを紹介する。
  論文  参考訳（メタデータ） (2024-12-25T16:51:29Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Dr-LLaVA: Visual Instruction Tuning with Symbolic Clinical Grounding [53.629132242389716]
  VLM(Vision-Language Models)は、医用画像を分析し、自然言語の相互作用に関与することによって、臨床医を支援する。 VLMはしばしば「幻覚的」な振る舞いを示し、文脈的マルチモーダル情報に基づかないテキスト出力を生成する。 本稿では,臨床推論の象徴的表現を用いて医療知識にVLMを基盤とする新たなアライメントアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-29T23:19:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。