論文の概要: Medical Hallucinations in Foundation Models and Their Impact on Healthcare

• arxiv url: http://arxiv.org/abs/2503.05777v1
• Date: Wed, 26 Feb 2025 02:30:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-16 08:47:17.971195
• Title: Medical Hallucinations in Foundation Models and Their Impact on Healthcare
• Title（参考訳）: 基礎モデルにおける医療幻覚と医療への影響
• Authors: Yubin Kim, Hyewon Jeong, Shan Chen, Shuyue Stella Li, Mingyu Lu, Kumail Alhamoud, Jimin Mun, Cristina Grau, Minseok Jung, Rodrigo Gameiro, Lizhou Fan, Eugene Park, Tristan Lin, Joonsik Yoon, Wonjin Yoon, Maarten Sap, Yulia Tsvetkov, Paul Liang, Xuhai Xu, Xin Liu, Daniel McDuff, Hyeonhoon Lee, Hae Won Park, Samir Tulebaev, Cynthia Breazeal,
• Abstract要約: マルチモーダルデータの処理と生成が可能なファンデーションモデルは、医療におけるAIの役割を変革した。 医療幻覚を、モデルが誤解を招く医療内容を生成する場合の例と定義する。 以上の結果から,Chain-of-Thought (CoT) や Search Augmented Generation などの推論手法は,幻覚率を効果的に低減できることがわかった。 これらの知見は、ロバストな検出と緩和戦略のための倫理的かつ実践的な衝動を浮き彫りにした。
• 参考スコア（独自算出の注目度）: 53.97060824532454
• License:
• Abstract: Foundation Models that are capable of processing and generating multi-modal data have transformed AI's role in medicine. However, a key limitation of their reliability is hallucination, where inaccurate or fabricated information can impact clinical decisions and patient safety. We define medical hallucination as any instance in which a model generates misleading medical content. This paper examines the unique characteristics, causes, and implications of medical hallucinations, with a particular focus on how these errors manifest themselves in real-world clinical scenarios. Our contributions include (1) a taxonomy for understanding and addressing medical hallucinations, (2) benchmarking models using medical hallucination dataset and physician-annotated LLM responses to real medical cases, providing direct insight into the clinical impact of hallucinations, and (3) a multi-national clinician survey on their experiences with medical hallucinations. Our results reveal that inference techniques such as Chain-of-Thought (CoT) and Search Augmented Generation can effectively reduce hallucination rates. However, despite these improvements, non-trivial levels of hallucination persist. These findings underscore the ethical and practical imperative for robust detection and mitigation strategies, establishing a foundation for regulatory policies that prioritize patient safety and maintain clinical integrity as AI becomes more integrated into healthcare. The feedback from clinicians highlights the urgent need for not only technical advances but also for clearer ethical and regulatory guidelines to ensure patient safety. A repository organizing the paper resources, summaries, and additional information is available at https://github.com/mitmedialab/medical hallucination.
• Abstract（参考訳）: マルチモーダルデータの処理と生成が可能なファンデーションモデルは、医療におけるAIの役割を変革した。 しかし、その信頼性の重要な限界は幻覚であり、不正確な情報や製造された情報が臨床上の決定や患者の安全性に影響を与える可能性がある。 医療幻覚を、モデルが誤解を招く医療内容を生成する場合の例と定義する。 本稿では, 医療幻覚の特徴, 原因, 意味について検討し, 実際の臨床シナリオにおいてこれらの誤りがどのように現れるかに着目した。 本研究は,(1)医学的幻覚の理解と対処のための分類,(2)医学的幻覚データセットを用いたベンチマークモデル,および実際の医学的症例に対する医師によるLDM反応,(3)医学的幻覚の臨床的影響に関する直接的な洞察の提供,(3)医学的幻覚の経験に関する多国籍臨床医による調査である。 以上の結果から,Chain-of-Thought (CoT) や Search Augmented Generation などの推論手法は,幻覚率を効果的に低減できることがわかった。 しかし、これらの改善にもかかわらず、非自明な幻覚レベルは持続する。 これらの知見は、堅牢な検出と緩和戦略のための倫理的かつ実践的な衝動を浮き彫りにし、AIが医療に統合されるにつれて患者の安全を優先し、臨床の整合性を維持するための規制政策の基盤を確立した。 臨床医からのフィードバックは、技術的な進歩だけでなく、患者の安全を確保するためのより明確な倫理的・規制的ガイドラインの必要性を強調している。 ペーパーリソース、要約、追加情報を整理したリポジトリはhttps://github.com/mitmedialab/medical hallucination.comにある。

関連論文リスト

• Towards Reliable Medical Question Answering: Techniques and Challenges in Mitigating Hallucinations in Language Models [1.03590082373586]
  本稿では,知識ベースタスク,特に医療領域における幻覚を緩和するための既存の手法のスコーピング研究を行う。 この論文で取り上げられた主要な手法は、検索・拡張生成(RAG)ベースの技術、反復的なフィードバックループ、教師付き微調整、迅速なエンジニアリングである。 これらのテクニックは、一般的な文脈では有望だが、最新の専門知識と厳格な医療ガイドラインの厳格な遵守に対するユニークな要求のために、医療領域のさらなる適応と最適化を必要としている。
  論文  参考訳（メタデータ） (2024-08-25T11:09:15Z)
• Extrinsically-Focused Evaluation of Omissions in Medical Summarization [9.847304366680772]
  大規模言語モデル(LLM)は、医療などの安全クリティカルなアプリケーションにおいて有望であるが、パフォーマンスを定量化する能力は低下している。 MED-OMITは患者の医療記録の要約を評価するための指標として提案される。
  論文  参考訳（メタデータ） (2023-11-14T16:46:15Z)
• Towards Mitigating Hallucination in Large Language Models via Self-Reflection [63.2543947174318]
  大規模言語モデル(LLM)は、質問応答(QA)タスクを含む生成的および知識集約的なタスクを約束している。 本稿では,広範に採用されているLCMとデータセットを用いた医療再生QAシステムにおける幻覚現象を解析する。
  論文  参考訳（メタデータ） (2023-10-10T03:05:44Z)
• Med-HALT: Medical Domain Hallucination Test for Large Language Models [0.0]
  本研究では,大規模言語モデル(LLM)における幻覚による課題に焦点を当てた。 我々は,幻覚の評価と低減を目的とした新しいベンチマークとデータセット,Med-HALT (Medical Domain Hallucination Test) を提案する。
  論文  参考訳（メタデータ） (2023-07-28T06:43:04Z)
• DKINet: Medication Recommendation via Domain Knowledge Informed Deep Learning [12.609882335746859]
  医療勧告は、医療の根本的かつ重要な分野である。 これまでの研究は主に電子健康記録から患者の表現を学ぶことに焦点を当ててきた。 本稿では,複雑な臨床症状とドメイン知識の効果的な統合に対処する知識注入モジュールを提案する。
  論文  参考訳（メタデータ） (2023-05-31T07:22:15Z)
• SPeC: A Soft Prompt-Based Calibration on Performance Variability of Large Language Model in Clinical Notes Summarization [50.01382938451978]
  本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。 実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
  論文  参考訳（メタデータ） (2023-03-23T04:47:46Z)
• Retrieval-Augmented and Knowledge-Grounded Language Models for Faithful Clinical Medicine [68.7814360102644]
  本稿では,Re$3$Writer法を提案する。 本手法が患者の退院指示生成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:34:39Z)
• Towards more patient friendly clinical notes through language models and ontologies [57.51898902864543]
  本稿では,単語の単純化と言語モデリングに基づく医療用テキストの自動作成手法を提案する。 我々は,公開医療文のデータセットペアと,臨床医による簡易化版を用いている。 本手法は,医学フォーラムデータに基づく言語モデルを用いて,文法と本来の意味の両方を保存しながら,より単純な文を生成する。
  論文  参考訳（メタデータ） (2021-12-23T16:11:19Z)
• Semi-Supervised Variational Reasoning for Medical Dialogue Generation [70.838542865384]
  医療対話生成には,患者の状態と医師の行動の2つの重要な特徴がある。 医療対話生成のためのエンドツーエンドの変分推論手法を提案する。 行動分類器と2つの推論検出器から構成される医師政策ネットワークは、拡張推論能力のために提案される。
  論文  参考訳（メタデータ） (2021-05-13T04:14:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。