論文の概要: LongHealth: A Question Answering Benchmark with Long Clinical Documents
- arxiv url: http://arxiv.org/abs/2401.14490v1
- Date: Thu, 25 Jan 2024 19:57:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 16:50:33.287295
- Title: LongHealth: A Question Answering Benchmark with Long Clinical Documents
- Title(参考訳): longhealth: 長期臨床文書を用いた質問応答ベンチマーク
- Authors: Lisa Adams, Felix Busch, Tianyu Han, Jean-Baptiste Excoffier, Matthieu
Ortala, Alexander L\"oser, Hugo JWL. Aerts, Jakob Nikolas Kather, Daniel
Truhn, Keno Bressem
- Abstract要約: 各種疾患20例を対象とし,LongHealthベンチマークを報告する。
このベンチマークは、情報抽出、否定、ソートという3つのカテゴリで400の多重選択の質問でLSMに挑戦する。
また,OpenAIのプロプライエタリかつコスト効率のよいGPT-3.5 Turboも比較検討した。
- 参考スコア(独自算出の注目度): 36.05587855811346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Recent advancements in large language models (LLMs) offer
potential benefits in healthcare, particularly in processing extensive patient
records. However, existing benchmarks do not fully assess LLMs' capability in
handling real-world, lengthy clinical data.
Methods: We present the LongHealth benchmark, comprising 20 detailed
fictional patient cases across various diseases, with each case containing
5,090 to 6,754 words. The benchmark challenges LLMs with 400 multiple-choice
questions in three categories: information extraction, negation, and sorting,
challenging LLMs to extract and interpret information from large clinical
documents.
Results: We evaluated nine open-source LLMs with a minimum of 16,000 tokens
and also included OpenAI's proprietary and cost-efficient GPT-3.5 Turbo for
comparison. The highest accuracy was observed for Mixtral-8x7B-Instruct-v0.1,
particularly in tasks focused on information retrieval from single and multiple
patient documents. However, all models struggled significantly in tasks
requiring the identification of missing information, highlighting a critical
area for improvement in clinical data interpretation.
Conclusion: While LLMs show considerable potential for processing long
clinical documents, their current accuracy levels are insufficient for reliable
clinical use, especially in scenarios requiring the identification of missing
information. The LongHealth benchmark provides a more realistic assessment of
LLMs in a healthcare setting and highlights the need for further model
refinement for safe and effective clinical application.
We make the benchmark and evaluation code publicly available.
- Abstract(参考訳): 背景: 大規模言語モデル(LLM)の最近の進歩は、医療、特に広範な患者記録の処理において潜在的な利益をもたらす。
しかし、既存のベンチマークでは、実世界の長期臨床データを扱うLLMの能力を十分に評価していない。
方法: 様々な疾患にまたがる20の患者を対象とし, それぞれ5,090から6,754の単語を含むlonghealthベンチマークを提示する。
このベンチマークは、情報抽出、否定、ソートという3つのカテゴリで400の多重選択質問でLSMに挑戦し、大規模な臨床文書から情報を抽出し解釈するためにLSMに挑戦する。
結果: OpenAI の独自かつ費用効率のよい GPT-3.5 Turbo を比較対象として, 最低 16,000 トークンのオープンソース LLM を9 個評価した。
その結果,Mixtral-8x7B-Instruct-v0.1では高い精度が得られた。
しかし、すべてのモデルは、欠落した情報の識別を必要とするタスクにおいて著しく苦労し、臨床データ解釈の改善のための重要な領域を強調した。
結論: LLMは, 長期臨床文書の処理に有意な可能性を示唆するが, 信頼性の高い臨床使用には精度が不十分である。
LongHealthベンチマークは、ヘルスケア環境でのLCMのより現実的な評価を提供し、安全で効果的な臨床応用のためのさらなるモデル改善の必要性を強調している。
ベンチマークと評価コードを公開しています。
関連論文リスト
- Large Language Models in Healthcare: A Comprehensive Benchmark [16.55419701519209]
医療における様々な大規模言語モデル(LLM)をベンチマークして、その強みと弱点を理解します。
私たちのベンチマークには、医療言語の生成、理解、推論にまたがる7つのタスクと13のデータセットが含まれています。
臨床ユーザからの信頼を得る上で重要な5つの指標について報告する。
論文 参考訳(メタデータ) (2024-04-25T15:51:06Z) - CLUE: A Clinical Language Understanding Evaluation for LLMs [2.3814275542331385]
大規模言語モデル(LLM)は、患者のケア、診断、管理プロセスに大きく貢献する可能性を示している。
これらのモデルの評価は、主に非クリニカルなタスクに限られている。
本研究は,現実的な臨床業務におけるLLMの評価に適したベンチマークであるCLUEについて述べる。
論文 参考訳(メタデータ) (2024-04-05T12:51:37Z) - Asclepius: A Spectrum Evaluation Benchmark for Medical Multi-Modal Large
Language Models [59.60384461302662]
医療マルチモーダル大言語モデル(Med-MLLM)を評価するための新しいベンチマークであるAsclepiusを紹介する。
Asclepiusは、異なる医療専門性と異なる診断能力の観点から、モデル能力の厳密かつ包括的に評価する。
また、6つのMed-MLLMの詳細な分析を行い、5人の専門家と比較した。
論文 参考訳(メタデータ) (2024-02-17T08:04:23Z) - Prompting Large Language Models for Zero-Shot Clinical Prediction with
Structured Longitudinal Electronic Health Record Data [7.815738943706123]
大規模言語モデル(LLM)は、伝統的に自然言語処理に向いている。
本研究では, GPT-4 などの LLM の EHR データへの適応性について検討する。
EHRデータの長手性、スパース性、知識を注入した性質に対応するため、本研究は特定の特徴を考慮に入れている。
論文 参考訳(メタデータ) (2024-01-25T20:14:50Z) - Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。
本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。
10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
論文 参考訳(メタデータ) (2023-09-14T05:15:01Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳(メタデータ) (2023-08-27T12:24:39Z) - Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。
正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。
本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
論文 参考訳(メタデータ) (2023-05-30T22:05:11Z) - Large Language Models for Healthcare Data Augmentation: An Example on
Patient-Trial Matching [49.78442796596806]
患者-心電図マッチング(LLM-PTM)のための革新的なプライバシ対応データ拡張手法を提案する。
本実験では, LLM-PTM法を用いて平均性能を7.32%向上させ, 新しいデータへの一般化性を12.12%向上させた。
論文 参考訳(メタデータ) (2023-03-24T03:14:00Z) - SPeC: A Soft Prompt-Based Calibration on Performance Variability of
Large Language Model in Clinical Notes Summarization [50.01382938451978]
本稿では,ソフトプロンプトを用いたモデルに依存しないパイプラインを導入し,確率に基づく要約の利点を保ちながら分散を減少させる。
実験結果から,本手法は性能を向上するだけでなく,様々な言語モデルの分散を効果的に抑制することが明らかとなった。
論文 参考訳(メタデータ) (2023-03-23T04:47:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。