論文の概要: Hallucinations and Key Information Extraction in Medical Texts: A Comprehensive Assessment of Open-Source Large Language Models
- arxiv url: http://arxiv.org/abs/2504.19061v1
- Date: Sun, 27 Apr 2025 00:39:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-02 19:15:54.113832
- Title: Hallucinations and Key Information Extraction in Medical Texts: A Comprehensive Assessment of Open-Source Large Language Models
- Title（参考訳）: 医学テキストにおける幻覚と鍵情報抽出:オープンソース大言語モデルの総合的評価
- Authors: Anindya Bijoy Das, Shibbir Ahmed, Shahnewaz Karim Sakib,
- Abstract要約: 大規模言語モデル(LLM)は、このような要約の精度を自動化し改善する大きな可能性を示している。
放電報告から重要な事象を抽出するオープンソースLCMの有効性について検討する。
また,これらのモデルが生成した要約において,様々な種類の幻覚の出現率を評価する。
- 参考スコア（独自算出の注目度）: 3.1406146587437904
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical summarization is crucial in healthcare as it distills complex medical data into digestible information, enhancing patient understanding and care management. Large language models (LLMs) have shown significant potential in automating and improving the accuracy of such summarizations due to their advanced natural language understanding capabilities. These models are particularly applicable in the context of summarizing medical/clinical texts, where precise and concise information transfer is essential. In this paper, we investigate the effectiveness of open-source LLMs in extracting key events from discharge reports, such as reasons for hospital admission, significant in-hospital events, and critical follow-up actions. In addition, we also assess the prevalence of various types of hallucinations in the summaries produced by these models. Detecting hallucinations is vital as it directly influences the reliability of the information, potentially affecting patient care and treatment outcomes. We conduct comprehensive numerical simulations to rigorously evaluate the performance of these models, further probing the accuracy and fidelity of the extracted content in clinical summarization.
- Abstract（参考訳）: 臨床の要約は、複雑な医療データを消化可能な情報に蒸留し、患者の理解とケア管理を強化する医療において重要である。
大規模言語モデル(LLM)は、それらの高度な自然言語理解能力により、このような要約の自動化と精度の向上に有意な可能性を示している。
これらのモデルは、正確かつ簡潔な情報伝達が不可欠である医学的・臨床的テキストを要約する文脈において特に適用できる。
本稿では, 退院の理由, 院内行事, 重大なフォローアップ行動など, 退院報告から重要な出来事を抽出するオープンソースLPMの有効性について検討する。
さらに,これらのモデルによる要約において,様々な種類の幻覚の出現率を評価する。
幻覚の検出は情報の信頼性に直接影響を与え、患者のケアや治療結果に影響を及ぼす可能性があるため、不可欠である。
我々は,これらのモデルの性能を厳密に評価するために,包括的数値シミュレーションを行い,臨床要約における抽出内容の精度と忠実度を検証した。
関連論文リスト
- Medical Hallucinations in Foundation Models and Their Impact on Healthcare [53.97060824532454]
マルチモーダルデータの処理と生成が可能なファンデーションモデルは、医療におけるAIの役割を変革した。
医療幻覚を、モデルが誤解を招く医療内容を生成する場合の例と定義する。
以上の結果から,Chain-of-Thought (CoT) や Search Augmented Generation などの推論手法は,幻覚率を効果的に低減できることがわかった。
これらの知見は、ロバストな検出と緩和戦略のための倫理的かつ実践的な衝動を浮き彫りにした。
論文 参考訳（メタデータ） (2025-02-26T02:30:44Z) - Enhancing In-Hospital Mortality Prediction Using Multi-Representational Learning with LLM-Generated Expert Summaries [3.5508427067904864]
ICU患者の院内死亡率(IHM)予測は、時間的介入と効率的な資源配分に重要である。
本研究は、構造化された生理データと臨床ノートをLarge Language Model(LLM)によって生成された専門家要約と統合し、IHM予測精度を向上させる。
論文 参考訳（メタデータ） (2024-11-25T16:36:38Z) - Reasoning-Enhanced Healthcare Predictions with Knowledge Graph Community Retrieval [61.70489848327436]
KAREは、知識グラフ(KG)コミュニティレベルの検索と大規模言語モデル(LLM)推論を統合する新しいフレームワークである。
MIMIC-IIIでは最大10.8～15.0%、MIMIC-IVでは12.6～12.7%である。
論文 参考訳（メタデータ） (2024-10-06T18:46:28Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z) - Mitigating Hallucinations in Large Language Models via Self-Refinement-Enhanced Knowledge Retrieval [14.58181631462891]
大規模言語モデル(LLM)は、様々な領域で顕著な機能を示している。
幻覚への感受性は、医療などの重要な分野への展開に重大な課題をもたらす。
我々は,LLMの応答の事実性を高めるために,自己精製強化知識グラフ検索法(Re-KGR)を提案する。
論文 参考訳（メタデータ） (2024-05-10T15:40:50Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳（メタデータ） (2023-05-30T22:05:11Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳（メタデータ） (2023-03-23T04:47:46Z) - Benchmarking Heterogeneous Treatment Effect Models through the Lens of
Interpretability [82.29775890542967]
治療のパーソナライズされた効果を見積もるのは複雑だが、普及している問題である。
ヘテロジニアス処理効果推定に関する機械学習文献の最近の進歩は、洗練されたが不透明なツールの多くを生み出した。
我々は、ポストホックな特徴重要度法を用いて、モデルの予測に影響を及ぼす特徴を特定する。
論文 参考訳（メタデータ） (2022-06-16T17:59:05Z) - Rationale production to support clinical decision-making [31.66739991129112]
本稿では,病院の退院予測にInfoCalを適用した。
選択された解釈可能性を持つ各提示モデルや特徴重要度法は,それぞれ異なる結果をもたらす。
論文 参考訳（メタデータ） (2021-11-15T09:02:10Z) - Clinical Outcome Prediction from Admission Notes using Self-Supervised
Knowledge Integration [55.88616573143478]
臨床テキストからのアウトカム予測は、医師が潜在的なリスクを見落としないようにする。
退院時の診断,手術手順,院内死亡率,長期予測は4つの一般的な結果予測対象である。
複数の公開資料から得られた患者結果に関する知識を統合するために,臨床結果の事前学習を提案する。
論文 参考訳（メタデータ） (2021-02-08T10:26:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。