論文の概要: Evaluating Large Language Models for Evidence-Based Clinical Question Answering

• arxiv url: http://arxiv.org/abs/2509.10843v1
• Date: Sat, 13 Sep 2025 15:03:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.809783
• Title: Evaluating Large Language Models for Evidence-Based Clinical Question Answering
• Title（参考訳）: Evidence-based Clinical Question Answering のための大規模言語モデルの評価
• Authors: Can Wang, Yiqun Chen,
• Abstract要約: 大規模言語モデル (LLMs) は, 医学的, 臨床的応用において著しく進歩している。 Cochraneの体系的レビューと臨床ガイドラインから得られたベンチマークをキュレートする。 我々はソースと臨床領域間で一貫したパフォーマンスパターンを観察する。
• 参考スコア（独自算出の注目度）: 4.101088122511548
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have demonstrated substantial progress in biomedical and clinical applications, motivating rigorous evaluation of their ability to answer nuanced, evidence-based questions. We curate a multi-source benchmark drawing from Cochrane systematic reviews and clinical guidelines, including structured recommendations from the American Heart Association and narrative guidance used by insurers. Using GPT-4o-mini and GPT-5, we observe consistent performance patterns across sources and clinical domains: accuracy is highest on structured guideline recommendations (90%) and lower on narrative guideline and systematic review questions (60--70%). We also find a strong correlation between accuracy and the citation count of the underlying systematic reviews, where each doubling of citations is associated with roughly a 30% increase in the odds of a correct answer. Models show moderate ability to reason about evidence quality when contextual information is supplied. When we incorporate retrieval-augmented prompting, providing the gold-source abstract raises accuracy on previously incorrect items to 0.79; providing top 3 PubMed abstracts (ranked by semantic relevance) improves accuracy to 0.23, while random abstracts reduce accuracy (0.10, within temperature variation). These effects are mirrored in GPT-4o-mini, underscoring that source clarity and targeted retrieval -- not just model size -- drive performance. Overall, our results highlight both the promise and current limitations of LLMs for evidence-based clinical question answering. Retrieval-augmented prompting emerges as a useful strategy to improve factual accuracy and alignment with source evidence, while stratified evaluation by specialty and question type remains essential to understand current knowledge access and to contextualize model performance.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は, 生医学的, 臨床的応用において, 曖昧な, 証拠に基づく質問に答える能力の厳密な評価を動機としている。 我々は,コクランの体系的レビューと臨床ガイドラインから得られたマルチソースベンチマークをキュレートし,アメリカン・ハート・アソシエーション (American Heart Association) の構造化された勧告と,保険会社が使用する物語指導を含む。 GPT-4o-mini と GPT-5 を用いて,情報源および臨床領域間の一貫したパフォーマンスパターンを観察した。 また,各引用の倍数と正解確率の約30%の増加が関連付けられている体系的レビューの精度と引用数との間には強い相関関係が認められた。 モデルは、文脈情報が供給されたときに証拠の品質を判断する適度な能力を示す。 検索強化プロンプトを組み込むと、ゴールドソースの抽象化は、以前間違っていた項目の精度を0.79に引き上げ、上位3のPubMedの抽象化(セマンティックな関連性によってランク付けされる)は0.23に改善し、ランダムな抽象は精度を低下させる(0.10)。 これらの効果は GPT-4o-mini に反映され、ソースの明快さとターゲットの検索 -- モデルのサイズだけでなく -- がパフォーマンスを向上させる。 以上の結果から,エビデンスベースの臨床質問応答におけるLCMの約束と現状の限界が浮き彫りになった。 検索促進プロンプトは,事実の正確性向上と情報源の証拠の整合性向上に有効である一方で,知識アクセスの理解やモデル性能の文脈化には,専門性や質問型による階層的評価が不可欠である。

関連論文リスト

• Retrieval-Augmented Clinical Benchmarking for Contextual Model Testing in Kenyan Primary Care: A Methodology Paper [0.609562679184219]
  大規模言語モデル(LLM)は、低リソース環境での医療アクセスを改善するという約束を持っているが、アフリカのプライマリケアにおけるそれらの効果は、まだ探索されていない。 ケニアのレベル2と3の臨床ケアに焦点を当てたベンチマークデータセットと評価フレームワークを作成するための方法論を提案する。 本手法は,ケニアの全国ガイドラインに臨床質問を根拠として,地域標準との整合性を確保するためにRAG (Regegration augmented generation) を用いている。
  論文  参考訳（メタデータ） (2025-07-19T13:25:26Z)
• Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
  既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。 我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-12T09:03:30Z)
• Improving Reliability and Explainability of Medical Question Answering through Atomic Fact Checking in Retrieval-Augmented LLMs [4.003209132872364]
  大型言語モデル (LLM) は医学的知識が豊富であるが、幻覚や不正確な引用の傾向にある。 Retrieval Augmented Generationのような現在の手法は、ソース文書の回答を根拠にすることで、これらの問題に部分的に対処する。 我々は,LLMの信頼性と説明可能性を高めるために,新しい原子ファクトチェックフレームワークを導入する。
  論文  参考訳（メタデータ） (2025-05-30T17:33:07Z)
• GEMA-Score: Granular Explainable Multi-Agent Scoring Framework for Radiology Report Evaluation [7.838068874909676]
  Granular Explainable Multi-Agent Score (GEMA-Score)は、大規模言語モデルに基づくマルチエージェントワークフローを通じて、客観的および主観的評価を行う。 GEMA-Scoreは、公開データセット上での人間の専門家評価と最も高い相関を達成している。
  論文  参考訳（メタデータ） (2025-03-07T11:42:22Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Zero-shot Generative Large Language Models for Systematic Review Screening Automation [55.403958106416574]
  本研究では,ゼロショット大言語モデルを用いた自動スクリーニングの有効性について検討した。 本研究では, 8種類のLCMの有効性を評価し, 予め定義されたリコール閾値を用いた校正手法について検討する。
  論文  参考訳（メタデータ） (2024-01-12T01:54:08Z)
• Self-Verification Improves Few-Shot Clinical Information Extraction [73.6905567014859]
  大規模言語モデル (LLMs) は、数発のテキスト内学習を通じて臨床キュレーションを加速する可能性を示している。 正確性や解釈可能性に関する問題、特に健康のようなミッションクリティカルな領域ではまだ苦戦している。 本稿では,自己検証を用いた汎用的な緩和フレームワークについて検討する。このフレームワークはLLMを利用して,自己抽出のための証明を提供し,その出力をチェックする。
  論文  参考訳（メタデータ） (2023-05-30T22:05:11Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。