論文の概要: Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges
- arxiv url: http://arxiv.org/abs/2309.04550v2
- Date: Sun, 3 Mar 2024 18:48:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 02:36:46.362052
- Title: Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges
- Title(参考訳): LLMによるEHRからの証拠の回収:可能性と課題
- Authors: Hiba Ahsan, Denis Jered McInerney, Jisoo Kim, Christopher Potter,
Geoffrey Young, Silvio Amir, Byron C. Wallace
- Abstract要約: 時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。
患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
- 参考スコア(独自算出の注目度): 19.494006980465404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Unstructured data in Electronic Health Records (EHRs) often contains critical
information -- complementary to imaging -- that could inform radiologists'
diagnoses. But the large volume of notes often associated with patients
together with time constraints renders manually identifying relevant evidence
practically infeasible. In this work we propose and evaluate a zero-shot
strategy for using LLMs as a mechanism to efficiently retrieve and summarize
unstructured evidence in patient EHR relevant to a given query. Our method
entails tasking an LLM to infer whether a patient has, or is at risk of, a
particular condition on the basis of associated notes; if so, we ask the model
to summarize the supporting evidence. Under expert evaluation, we find that
this LLM-based approach provides outputs consistently preferred to a pre-LLM
information retrieval baseline. Manual evaluation is expensive, so we also
propose and validate a method using an LLM to evaluate (other) LLM outputs for
this task, allowing us to scale up evaluation. Our findings indicate the
promise of LLMs as interfaces to EHR, but also highlight the outstanding
challenge posed by "hallucinations". In this setting, however, we show that
model confidence in outputs strongly correlates with faithful summaries,
offering a practical means to limit confabulations.
- Abstract(参考訳): 電子健康記録(ehrs)の非構造化データには、放射線科医の診断を知らせる重要な情報が含まれていることが多い。
しかし、時間的制約を伴って患者に関連付けられた大量のメモは、実際に不可能な証拠を手作業で特定する。
本研究では, あるクエリに関連する患者EMHの非構造的証拠を効率よく検索し, 要約するメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価する。
本手法では,患者が関連するノートに基づいて特定の状態を持っているか,あるいはそのリスクがあるかを判断するために,llmのタスクを伴い,モデルに支援証拠の要約を依頼する。
専門家評価では,このllmベースアプローチは,llm前情報検索ベースラインに一貫して好まれる出力を提供する。
手作業による評価は高価であり,LLMを用いた(他の)LLM出力の評価手法の提案と検証により,評価のスケールアップが可能となる。
以上の結果から,ELHのインターフェースとしてLLMが期待できることに加えて,「幻覚」によって引き起こされる顕著な課題も浮き彫りにされている。
しかし、この設定では、出力のモデル信頼度は忠実な要約と強く相関し、信頼度を制限する実用的な手段を提供する。
関連論文リスト
- Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。
このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
論文 参考訳(メタデータ) (2024-01-25T17:45:34Z) - Mitigating Large Language Model Hallucinations via Autonomous Knowledge
Graph-based Retrofitting [51.7049140329611]
本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。
実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
論文 参考訳(メタデータ) (2023-11-22T11:08:38Z) - Extrinsically-Focused Evaluation of Omissions in Medical Summarization [10.02553223045504]
MED-OMITは医用要約のための新しい省略ベンチマークである。
医師と患者の会話と生成された要約から、MED-OMITはチャットを一連の事実に分類し、要約から省略されるものを特定する。
我々は,MED-OMITを患者と医師の会話の公開データセットで評価し,MED-OMITが他の指標よりも欠落を捉えていることを確認した。
論文 参考訳(メタデータ) (2023-11-14T16:46:15Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Assessing the Reliability of Large Language Model Knowledge [78.38870272050106]
大規模言語モデル(LLM)は、知識探索タスクにおける高い性能のため、知識ベースとして扱われてきた。
LLMが実際に正しい答えを連続的に生成する能力をどのように評価するか。
LLMの信頼性を直接測定するための新しい指標であるMOdel kNowledge relIabiliTy score (MONITOR)を提案する。
論文 参考訳(メタデータ) (2023-10-15T12:40:30Z) - Improving Open Information Extraction with Large Language Models: A
Study on Demonstration Uncertainty [52.72790059506241]
オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。
一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
論文 参考訳(メタデータ) (2023-09-07T01:35:24Z) - Interpretable Medical Diagnostics with Structured Data Extraction by
Large Language Models [59.89454513692417]
タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。
本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。
本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-08T09:12:28Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。