論文の概要: Medical Hallucinations in Foundation Models and Their Impact on Healthcare

• arxiv url: http://arxiv.org/abs/2503.05777v2
• Date: Sun, 02 Nov 2025 11:26:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-04 16:14:21.906775
• Title: Medical Hallucinations in Foundation Models and Their Impact on Healthcare
• Title（参考訳）: 基礎モデルにおける医療幻覚と医療への影響
• Abstract要約: 基礎モデルの幻覚は自己回帰訓練の目的から生じる。 トップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプトで強化された場合、97%の精度を達成した。
• 参考スコア（独自算出の注目度）: 71.15392179084428
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucinations in foundation models arise from autoregressive training objectives that prioritize token-likelihood optimization over epistemic accuracy, fostering overconfidence and poorly calibrated uncertainty. We define medical hallucination as any model-generated output that is factually incorrect, logically inconsistent, or unsupported by authoritative clinical evidence in ways that could alter clinical decisions. We evaluated 11 foundation models (7 general-purpose, 4 medical-specialized) across seven medical hallucination tasks spanning medical reasoning and biomedical information retrieval. General-purpose models achieved significantly higher proportions of hallucination-free responses than medical-specialized models (median: 76.6% vs 51.3%, difference = 25.2%, 95% CI: 18.7-31.3%, Mann-Whitney U = 27.0, p = 0.012, rank-biserial r = -0.64). Top-performing models such as Gemini-2.5 Pro exceeded 97% accuracy when augmented with chain-of-thought prompting (base: 87.6%), while medical-specialized models like MedGemma ranged from 28.6-61.9% despite explicit training on medical corpora. Chain-of-thought reasoning significantly reduced hallucinations in 86.4% of tested comparisons after FDR correction (q < 0.05), demonstrating that explicit reasoning traces enable self-verification and error detection. Physician audits confirmed that 64-72% of residual hallucinations stemmed from causal or temporal reasoning failures rather than knowledge gaps. A global survey of clinicians (n = 70) validated real-world impact: 91.8% had encountered medical hallucinations, and 84.7% considered them capable of causing patient harm. The underperformance of medical-specialized models despite domain training indicates that safety emerges from sophisticated reasoning capabilities and broad knowledge integration developed during large-scale pre-training, not from narrow optimization.
• Abstract（参考訳）: 基礎モデルの幻覚は、自己回帰的な訓練目標から生じ、トークンのような最適化をてんかんの精度よりも優先し、過剰な自信と不確かさを育む。 我々は, 医療幻覚を, 事実的, 論理的不一致, あるいは, 権威的な臨床的証拠によって, 臨床的決定を変えることができるようなモデル生成アウトプットとして定義する。 医学的推論とバイオメディカル情報検索を対象とし,11種類の基礎モデル(汎用7種,医療特化4種)を評価した。 一般目的モデルは、医学特化モデルよりも幻覚のない反応の割合が有意に高い(中間値:76.6%対51.3%、差値:25.2%、95%CI:18.7-31.3%、マン・ホイットニーU = 27.0、p = 0.012、ランクビザールr = -0.64)。 Gemini-2.5 Proのようなトップパフォーマンスモデルは、チェーン・オブ・シークレット・プロンプト(ベース:87.6%)で強化された時に97%の精度を達成し、MedGemmaのような医療特化モデルは医療コーパスの明確な訓練にもかかわらず28.6-61.9%まで変化した。 FDR修正後の86.4%(q < 0.05)において、思考の連鎖推論は幻覚を著しく減少させ、明示的な推論トレースが自己検証と誤り検出を可能にすることを示した。 64-72%は知識ギャップではなく因果的あるいは時間的理由づけの失敗によるものであることが確認された。 世界中の臨床医(n = 70)による調査では、91.8%が幻覚に遭遇し、84.7%が患者に被害を与える可能性があると回答した。 ドメイントレーニングに拘わらず、医療特化モデルの低性能は、厳密な推論能力と広範囲な知識統合が、狭い最適化からではなく、大規模な事前訓練の間に発達することを示している。

関連論文リスト

• MedAgent-R1: Faithfulness-Aware Reinforcement Learning for Evidence-Grounded Medical Reasoning [6.676492026608371]
  RL学習検索エージェントにおける系統的障害モードを同定する。 私たちは、忠実な報酬デザインでこの問題に対処します。 結果として得られるMedAgent-R1は、励起生成を31.8%から4.7%に減少させる。
  論文  参考訳（メタデータ） (2026-08-31T12:19:41Z)
• Measuring Epistemic Resilience of LLMs Under Misleading Medical Context [47.20527783144983]
  大規模言語モデル(LLMs)は、医療ライセンス試験のエキスパートレベルスコアに到達した。 誤解を招く文脈が LLM が元来正しく答える質問に注入されると、彼らは正しい答えを放棄する。 本研究は, 逆行性てんかんのレジリエンス下での正しい判断を維持できる能力と, 測定にMedMisBenchを導入している。
  論文  参考訳（メタデータ） (2026-06-10T16:27:26Z)
• HalluCXR: Benchmarking and Mitigating Hallucinations in Medical Vision-Language Models for Chest Radiograph Interpretation [7.512887610816016]
  HalluCXRは、856個の胸部X線写真から6つのアーキテクチャ的に多様な視覚言語モデルを評価するベンチマークである。 61.9--82.3%のアウトプットには幻覚が含まれており、臨床的に危険なエラーは最大80.2%である。 これらの結果から, 幻覚検査, 冗長性に基づくリスクモニタリング, アンサンブルに基づく安全層が臨床展開の前提条件であることが確認された。
  論文  参考訳（メタデータ） (2026-05-19T20:30:32Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Beyond Calibration: Confounding Pathology Limits Foundation Model Specificity in Abdominal Trauma CT [8.050646314390763]
  基礎モデルを臨床実践に翻訳するには、複合分布シフト下での性能を評価する必要がある。 基礎モデルの特異性欠陥が負のクラスにおける不均一性と関連しているかどうかを検討した。
  論文  参考訳（メタデータ） (2026-02-10T23:08:06Z)
• Diagnosing Hallucination Risk in AI Surgical Decision-Support: A Sequential Framework for Sequential Validation [5.469454486414467]
  大言語モデル (LLMs) は脊椎手術における臨床的決定支援の転換的可能性を提供する。 LLMは幻覚を通じて重大なリスクを引き起こすが、これは事実的に矛盾しているか、文脈的に不一致な出力である。 本研究は, 診断精度, 推奨品質, 推理堅牢性, 出力コヒーレンス, 知識アライメントを評価することによって, 幻覚リスクを定量化するための臨床中心の枠組みを提案する。
  論文  参考訳（メタデータ） (2025-11-01T15:25:55Z)
• Predicting Metabolic Dysfunction-Associated Steatotic Liver Disease using Machine Learning Methods [0.8642326601683298]
  我々は、公正で厳密で再現可能なMASLD予測モデルを開発した。 MASLDは米国の成人の33%に影響を与え、最も一般的な慢性肝疾患である。
  論文  参考訳（メタデータ） (2025-10-25T13:36:18Z)
• EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
  医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。 ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。 医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T14:09:55Z)
• MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
  我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。 6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。 結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
  論文  参考訳（メタデータ） (2025-08-22T08:38:16Z)
• Trustworthy AI for Medicine: Continuous Hallucination Detection and Elimination with CHECK [1.3638020767676653]
  大規模言語モデル(LLMs)は医療において有望であるが、幻覚は臨床利用にとって大きな障壁である。 構造化された臨床データベースを統合して幻覚を検出する継続的学習フレームワークであるCHECKについて述べる。
  論文  参考訳（メタデータ） (2025-06-10T17:12:28Z)
• Lingshu: A Generalist Foundation Model for Unified Multimodal Medical Understanding and Reasoning [57.873833577058]
  医療知識の豊富なマルチモーダルデータセットを構築した。 次に医学専門のMLLMであるLingshuを紹介します。 Lingshuは、医療専門知識の組み込みとタスク解決能力の向上のために、マルチステージトレーニングを行っている。
  論文  参考訳（メタデータ） (2025-06-08T08:47:30Z)
• Fact-Controlled Diagnosis of Hallucinations in Medical Text Summarization [8.057050705357973]
  大きな言語モデル(LLM)の幻覚は、患者のケアと臨床的意思決定に重大なリスクをもたらす。 一般ドメイン検出器は、臨床幻覚の検出に苦慮し、ファクトコントロールされた幻覚の性能は、自然幻覚に対する効果を確実に予測できない。 幻覚を数えるファクトベースアプローチを開発し、既存の手法では利用できない説明可能性を提供する。
  論文  参考訳（メタデータ） (2025-05-31T08:04:37Z)
• HalluLens: LLM Hallucination Benchmark [49.170128733508335]
  大規模言語モデル(LLM)は、しばしばユーザ入力やトレーニングデータから逸脱する応答を生成する。 本稿では,新たな内因性評価タスクと既存内因性評価タスクを併用した総合幻覚ベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-04-24T13:40:27Z)
• A Clinician-Friendly Platform for Ophthalmic Image Analysis Without Technical Barriers [51.45596445363302]
  GlobeReadyはクリニックフレンドリーなAIプラットフォームで、再トレーニング、微調整、技術専門知識の必要性なしに、基礎疾患の診断を可能にする。 光コヒーレンス・トモグラフィー(OCT)スキャンを用いて、カラー・ファンドス写真(CPF)を用いた11のファンドス病(93.9-98.5%)と15のファンドス病(87.2-92.7%)の精度を示した。 トレーニングなしのローカル機能拡張を活用することで、GlobeReadyプラットフォームは、センターや人口間のドメインシフトを効果的に軽減する。
  論文  参考訳（メタデータ） (2025-04-22T14:17:22Z)
• MedHal: An Evaluation Dataset for Medical Hallucination Detection [2.5782420501870296]
  MedHalは、医療用テキストの幻覚をモデルが検出できるかどうかを評価するために設計された、新しい大規模データセットである。 MedHalは,(1)多様な医学的テキストソースとタスクを取り入れ,(2)医学的幻覚検出モデルの訓練に適した注釈付きサンプルを大量に提供し,(3)モデル学習を導くための事実的不整合の説明を含むギャップに対処する。
  論文  参考訳（メタデータ） (2025-04-11T14:55:15Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• MedHallu: A Comprehensive Benchmark for Detecting Medical Hallucinations in Large Language Models [82.30696225661615]
  MedHalluは、医学的幻覚検出に特化して設計された最初のベンチマークである。 GPT-4o, Llama-3.1, および医学的に微調整されたUltraMedicalを含む最先端のLSMは、このバイナリ幻覚検出タスクに苦慮している。 双方向の包絡クラスタリングを用いて, 難解な幻覚は, 意味論的に真実に近いことを示す。
  論文  参考訳（メタデータ） (2025-02-20T06:33:23Z)
• Towards Reliable Medical Question Answering: Techniques and Challenges in Mitigating Hallucinations in Language Models [1.03590082373586]
  本稿では,知識ベースタスク,特に医療領域における幻覚を緩和するための既存の手法のスコーピング研究を行う。 この論文で取り上げられた主要な手法は、検索・拡張生成(RAG)ベースの技術、反復的なフィードバックループ、教師付き微調整、迅速なエンジニアリングである。 これらのテクニックは、一般的な文脈では有望だが、最新の専門知識と厳格な医療ガイドラインの厳格な遵守に対するユニークな要求のために、医療領域のさらなる適応と最適化を必要としている。
  論文  参考訳（メタデータ） (2024-08-25T11:09:15Z)
• Extrinsically-Focused Evaluation of Omissions in Medical Summarization [9.847304366680772]
  大規模言語モデル(LLM)は、医療などの安全クリティカルなアプリケーションにおいて有望であるが、パフォーマンスを定量化する能力は低下している。 MED-OMITは患者の医療記録の要約を評価するための指標として提案される。
  論文  参考訳（メタデータ） (2023-11-14T16:46:15Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Med-HALT: Medical Domain Hallucination Test for Large Language Models [0.0]
  本研究では,大規模言語モデル(LLM)における幻覚による課題に焦点を当てた。 我々は,幻覚の評価と低減を目的とした新しいベンチマークとデータセット,Med-HALT (Medical Domain Hallucination Test) を提案する。
  論文  参考訳（メタデータ） (2023-07-28T06:43:04Z)
• DKINet: Medication Recommendation via Domain Knowledge Informed Deep Learning [12.609882335746859]
  医療勧告は、医療の根本的かつ重要な分野である。 これまでの研究は主に電子健康記録から患者の表現を学ぶことに焦点を当ててきた。 本稿では,複雑な臨床症状とドメイン知識の効果的な統合に対処する知識注入モジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-31T07:22:15Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。