論文の概要: Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges

• arxiv url: http://arxiv.org/abs/2309.04550v3
• Date: Mon, 10 Jun 2024 20:11:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-13 01:08:37.192990
• Title: Retrieving Evidence from EHRs with LLMs: Possibilities and Challenges
• Title（参考訳）: LLMによるEHRからの証拠の回収:可能性と課題
• Authors: Hiba Ahsan, Denis Jered McInerney, Jisoo Kim, Christopher Potter, Geoffrey Young, Silvio Amir, Byron C. Wallace,
• Abstract要約: 時間的制約を伴って患者に関連付けられた大量のメモは、実質的に不可能な証拠を手作業で特定する。 患者EHRにおける非構造的証拠を効率よく回収・要約するためのメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価した。
• 参考スコア（独自算出の注目度）: 18.56314471146199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Unstructured data in Electronic Health Records (EHRs) often contains critical information -- complementary to imaging -- that could inform radiologists' diagnoses. But the large volume of notes often associated with patients together with time constraints renders manually identifying relevant evidence practically infeasible. In this work we propose and evaluate a zero-shot strategy for using LLMs as a mechanism to efficiently retrieve and summarize unstructured evidence in patient EHR relevant to a given query. Our method entails tasking an LLM to infer whether a patient has, or is at risk of, a particular condition on the basis of associated notes; if so, we ask the model to summarize the supporting evidence. Under expert evaluation, we find that this LLM-based approach provides outputs consistently preferred to a pre-LLM information retrieval baseline. Manual evaluation is expensive, so we also propose and validate a method using an LLM to evaluate (other) LLM outputs for this task, allowing us to scale up evaluation. Our findings indicate the promise of LLMs as interfaces to EHR, but also highlight the outstanding challenge posed by "hallucinations". In this setting, however, we show that model confidence in outputs strongly correlates with faithful summaries, offering a practical means to limit confabulations.
• Abstract（参考訳）: エレクトロニック・ヘルス・レコーズ(EHR)の非構造化データには、放射線学者の診断を知らせる重要な情報が含まれていることが多い。 しかし、時間的制約を伴って患者に関連付けられた大量のメモは、実際に不可能な証拠を手作業で特定する。 本研究では, あるクエリに関連する患者EMHの非構造的証拠を効率よく検索し, 要約するメカニズムとして, LLMを用いたゼロショット戦略を提案し, 評価する。 本手法では, 患者に特定の症状があるか, あるいはそのリスクがあるかを, 関連するメモに基づいて推定する。 専門家による評価では、このLCMベースのアプローチは、LLM以前の情報検索ベースラインに一貫して好まれる出力を提供する。 手作業による評価は高価であり, LLM を用いて(他の) LLM の出力を評価する手法の提案と検証を行い, 評価のスケールアップを可能にする。 以上の結果から,ELHのインターフェースとしてLLMが期待できることに加えて,「幻覚」によって引き起こされる顕著な課題も浮き彫りにされている。 しかし、この設定では、出力のモデル信頼度は忠実な要約と強く相関し、信頼度を制限するための実践的な手段を提供する。

関連論文リスト

• Ingest-And-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG [2.7972592976232833]
  プライバシ固有の知識ベースでベースLLMモデルを継続的に事前トレーニングし、セマンティックRAGレイヤで拡張します。 提案手法は,プライバシ関連クエリの処理において,モデル性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-09-30T20:32:29Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• MediQ: Question-Asking LLMs and a Benchmark for Reliable Interactive Clinical Reasoning [36.400896909161006]
  我々は積極的に質問を行い、より多くの情報を集め、確実に応答するシステムを開発する。 LLMの問合せ能力を評価するためのベンチマーク - MediQ を導入する。
  論文  参考訳（メタデータ） (2024-06-03T01:32:52Z)
• Improve Temporal Awareness of LLMs for Sequential Recommendation [61.723928508200196]
  大規模言語モデル(LLM)は、幅広い汎用タスクを解く際、印象的なゼロショット能力を示した。 LLMは時間的情報の認識と利用に不足しており、シーケンシャルなデータの理解を必要とするタスクではパフォーマンスが悪い。 LLMに基づくシーケンシャルレコメンデーションのために、歴史的相互作用の中で時間情報を利用する3つのプロンプト戦略を提案する。
  論文  参考訳（メタデータ） (2024-05-05T00:21:26Z)
• EHRNoteQA: An LLM Benchmark for Real-World Clinical Practice Using Discharge Summaries [9.031182965159976]
  大規模言語モデル(LLM)は、大規模で複雑なデータを効率的に分析する可能性を示している。 我々は,MIMIC-IV EHR上に構築された新しいベンチマークであるEHRNoteQAを紹介した。 EHRNoteQAには、複数の放電サマリーにまたがる情報を必要とし、実際の臨床検査の複雑さと多様性を反映した8つの多様なトピックをカバーする質問が含まれている。
  論文  参考訳（メタデータ） (2024-02-25T09:41:50Z)
• LLM on FHIR -- Demystifying Health Records [0.32985979395737786]
  本研究では,大規模言語モデル(LLM)を用いた健康記録と対話可能なアプリを開発した。 このアプリは、医療データを患者フレンドリーな言語に効果的に翻訳し、その反応を異なる患者プロファイルに適応させることができた。
  論文  参考訳（メタデータ） (2024-01-25T17:45:34Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。