論文の概要: Ten Headache Specialists versus Artificial Intelligence for Clinical Literature Summarization: A Critical Evaluation and Comparison

• arxiv url: http://arxiv.org/abs/2606.05436v1
• Date: Wed, 03 Jun 2026 20:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.402865
• Title: Ten Headache Specialists versus Artificial Intelligence for Clinical Literature Summarization: A Critical Evaluation and Comparison
• Title（参考訳）: 臨床文献要約のための10名の頭部専門医と人工知能 : 批判的評価と比較
• Authors: Alejandro Lozano, Keiko Ihara, Ping-Hao Yang, Carrie E. Robertson, Jennifer Stern, Allan Purdy, Hsiangkuo Yuan, Pengfei Zhang, Yulia Orlova, Olga Fermo, Jennifer Hranilovich, Fred Cohen, Todd J. Schwedt, Jenelle A. Jindal, Serena Yeung-Levy, Chia-Chun Chiang,
• Abstract要約: アメリカとカナダの頭痛専門医10人がそれぞれ1つの質問の要約を書いた。 著者に盲目な専門家は、正確性、完全性、簡潔性、臨床的有用性に基づいて要約を批判的に評価した。 専門家が書いた要約が好まれたが、専門家は時に、人間とAIが生成した要約を区別することが難しいと感じた。
• 参考スコア（独自算出の注目度）: 40.307092730572954
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Summarizing the latest medical literature to guide clinical decision-making is essential for evidence-based medicine and high-quality patient care. Yet clinicians face increasing challenges due to limited time with patients and a rapidly growing volume of published articles. Although retrieval-augmented large language models (LLMs) have shown promise in clinical summarization, human evaluations of their effectiveness in synthesizing broader scientific literature and direct comparisons to expert-written syntheses remain scarce. We constructed a RAG-based agentic AI framework using three state-of-the-art LLMs: Sonnet, GPT-4o, and Llama 3.1. A headache specialist created 13 questions, three for prompt optimization and ten for evaluation. Ten headache specialists across the United States and Canada each wrote a summary for one question, yielding four summaries per question (expert, Sonnet, GPT-4o, and Llama). The experts, blinded to authorship, critically evaluated the summaries, excluding the topic for which they wrote a summary, based on correctness, completeness, conciseness, and clinical utility, scoring each from 1 to 10 using standardized rubrics. They also ranked the summaries by preference and indicated whether they believed each summary was written by an expert or an LLM. Our study, comparing LLM- and expert-written literature summaries evaluated by headache specialists, showed that expert-written summaries were preferred, although experts sometimes found it challenging to distinguish between human- and AI-generated summaries. We also identified key expert-valued features beyond standard evaluation metrics that can guide future refinement of both human and AI literature summarization pipelines.
• Abstract（参考訳）: 最新の医療文献を要約して臨床意思決定を導くことは、エビデンスベースの医療と高品質な患者医療にとって不可欠である。 しかし、臨床医は、患者との時間を限定し、出版物が急速に増えているため、課題に直面している。 検索強化大言語モデル (LLM) は, 臨床要約において有望であるが, より広範な科学的文献の合成および専門家による合成との直接比較において, 人為的な評価は乏しい。 我々は3つの最先端LLM(Sonnet, GPT-4o, Llama 3.1)を用いてRAGベースのエージェントAIフレームワークを構築した。 頭痛の専門家が13の質問を作成した。 米国とカナダの頭痛専門医10人がそれぞれ1問の要約を書き、1問につき4問の要約(専門家、Sonnet、GPT-4o、Llama)を作成した。 著者に盲目な専門家たちは要約を批判的に評価し、正当性、完全性、簡潔性、臨床的有用性に基づいて要約を書いたトピックを除いた。 彼らはまた、要約を好みでランク付けし、それぞれの要約が専門家によって書かれたものであると信じているか、LLMによって書かれたかを示した。 頭痛の専門家によって評価されたLSMと専門家による文献の要約を比較したところ、専門家による要約が好まれることがわかったが、専門家は時に人間とAIによる要約を区別することが困難である。 また、人間とAI文学の要約パイプラインの将来の洗練を導くことのできる、標準的な評価指標以上の重要な専門家評価機能も特定しました。

関連論文リスト

• Towards a Medical AI Scientist [73.6056699962416]
  私たちは、臨床自律研究に特化した最初の自律的な研究フレームワークである、メディカルAIサイエンティストを紹介します。 このフレームワークは3つの研究モード、すなわち論文ベースの再現、文学にインスパイアされた革新、タスク駆動探索で動作する。 本システムでは,提案手法と実装の密接な整合性を実現するとともに,実行可能実験において極めて高い成功率を示す。
  論文  参考訳（メタデータ） (2026-03-30T15:37:25Z)
• MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
  MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
  論文  参考訳（メタデータ） (2026-03-13T22:30:26Z)
• A Dataset for Addressing Patient's Information Needs related to Clinical Course of Hospitalization [15.837772594006038]
  ArchEHR-QAは、集中治療室と救急部門の設定から現実の患者をベースとした、専門家による注釈付きデータセットである。 症例は、公衆衛生フォーラムへの患者による質問、臨床医が解釈した質問、関連する臨床ノートの抜粋、および臨床医が認可した回答である。 答えファーストのプロンプトアプローチは一貫して最善を尽くし、ラマ4は最高得点を獲得した。
  論文  参考訳（メタデータ） (2025-06-04T16:55:08Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• A Literature Review of Literature Reviews in Pattern Analysis and Machine Intelligence [51.26815896167173]
  本稿では,3つの相補的な側面からPAMIレビューを総合的に分析する。 我々の分析は、現在のレビューの実践において、独特の組織パターンと永続的なギャップを明らかにします。 最後に、最先端のAI生成レビューの評価は、コヒーレンスと組織の進歩を奨励していることを示している。
  論文  参考訳（メタデータ） (2024-02-20T11:28:50Z)
• Adapted Large Language Models Can Outperform Medical Experts in Clinical Text Summarization [8.456700096020601]
  大規模言語モデル (LLM) は自然言語処理 (NLP) において有望であるが, 様々な臨床要約タスクにおける有効性は証明されていない。 本研究では,4つの臨床要約課題にまたがる8つのLCMに適応法を適用した。 10名の医師による臨床読影者を対象に, 要約, 完全性, 正当性, 簡潔性を評価した。ほとんどの場合, ベスト適応LSMの要約は, 医用専門家の要約と比べ, 同等(45%), 上等(36%)である。
  論文  参考訳（メタデータ） (2023-09-14T05:15:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。