論文の概要: MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences

• arxiv url: http://arxiv.org/abs/2603.15677v1
• Date: Fri, 13 Mar 2026 22:30:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:06.875608
• Title: MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences
• Title（参考訳）: MedArena:医学と臨床におけるLLMの比較
• Authors: Eric Wu, Kevin Wu, Jason Hom, Paul H. Yi, Angela Zhang, Alejandro Lozano, Jeff Nirschl, Jeff Tangney, Kevin Byram, Braydon Dymm, Narender Annapureddy, Eric Topol, David Ouyang, James Zou,
• Abstract要約: MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
• 参考スコア（独自算出の注目度）: 50.71326426975699
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) are increasingly central to clinician workflows, spanning clinical decision support, medical education, and patient communication. However, current evaluation methods for medical LLMs rely heavily on static, templated benchmarks that fail to capture the complexity and dynamics of real-world clinical practice, creating a dissonance between benchmark performance and clinical utility. To address these limitations, we present MedArena, an interactive evaluation platform that enables clinicians to directly test and compare leading LLMs using their own medical queries. Given a clinician-provided query, MedArena presents responses from two randomly selected models and asks the user to select the preferred response. Out of 1571 preferences collected across 12 LLMs up to November 1, 2025, Gemini 2.0 Flash Thinking, Gemini 2.5 Pro, and GPT-4o were the top three models by Bradley-Terry rating. Only one-third of clinician-submitted questions resembled factual recall tasks (e.g., MedQA), whereas the majority addressed topics such as treatment selection, clinical documentation, or patient communication, with ~20% involving multi-turn conversations. Additionally, clinicians cited depth and detail and clarity of presentation more often than raw factual accuracy when explaining their preferences, highlighting the importance of readability and clinical nuance. We also confirm that the model rankings remain stable even after controlling for style-related factors like response length and formatting. By grounding evaluation in real-world clinical questions and preferences, MedArena offers a scalable platform for measuring and improving the utility and efficacy of medical LLMs.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、臨床決定支援、医学教育、患者とのコミュニケーションなど、診療ワークフローの中心的存在になりつつある。 しかし、現在の医療用LCMの評価手法は、実際の臨床実践の複雑さやダイナミクスを捉えるのに失敗する静的なテンプレートベンチマークに大きく依存しており、ベンチマーク性能と臨床的有用性の間に不協和性を生み出している。 これらの制約に対処するために,臨床医が自身の医療クエリを用いて,主要なLCMを直接テストし比較することのできる,インタラクティブな評価プラットフォームであるMedArenaを紹介する。 MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。 2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。 臨床医が提出した質問の3分の1は、事実的リコールタスク(例:MedQA)に類似しており、治療選択、臨床文書、患者とのコミュニケーションなど、多面的な会話を含む約20%のトピックに対処している。 さらに、臨床医は、好みを説明する際に生の事実の正確さよりも、深度と詳細さ、明快さを引用し、読みやすさと臨床的ニュアンスの重要性を強調した。 また,応答長やフォーマットなどのスタイル関連因子を制御した後でも,モデルランキングが安定していることを確認した。 MedArenaは、実世界の臨床的問題や嗜好を基礎として、医療用LLMの有用性と効果を計測し、改善するためのスケーラブルなプラットフォームを提供する。

関連論文リスト

• Beyond MedQA: Towards Real-world Clinical Decision Making in the Era of LLMs [37.6690828097719]
  大型言語モデル (LLM) は臨床応用の可能性を示唆している。 多くの医学データセットは、現実の臨床的意思決定を過小評価する簡易的な質問回答 (QA) に依存している。 臨床背景と臨床質問の2つの側面に沿って臨床意思決定タスクを特徴付ける統一パラダイムを提案する。
  論文  参考訳（メタデータ） (2025-10-22T20:06:10Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• Towards Evaluating and Building Versatile Large Language Models for Medicine [57.49547766838095]
  MedS-Benchは大規模言語モデル(LLM)の性能を臨床的に評価するためのベンチマークである。 MedS-Benchは、臨床報告の要約、治療勧告、診断、名前付きエンティティ認識、医療概念説明を含む、11のハイレベルな臨床タスクにまたがる。 MedS-Insは58の医療指向言語コーパスで構成され、112のタスクで1350万のサンプルを収集している。
  論文  参考訳（メタデータ） (2024-08-22T17:01:34Z)
• Large Language Models in the Clinic: A Comprehensive Benchmark [63.21278434331952]
  診療所の大規模言語モデル(LLM)をよりよく理解するためのベンチマークであるClimateBenchを構築した。 まず、さまざまな臨床言語の生成、理解、推論タスクを含む11の既存のデータセットを収集します。 次に,現実の実践において複雑だが一般的である6つの新しいデータセットと臨床タスクを構築した。 ゼロショット設定と少数ショット設定の両方で、20個のLDMを広範囲に評価する。
  論文  参考訳（メタデータ） (2024-04-25T15:51:06Z)
• Towards Adapting Open-Source Large Language Models for Expert-Level Clinical Note Generation [19.08691249610632]
  本研究では,オープンソースのLLaMA-213億パラメータモデルに対する包括的ドメイン・タスク特化プロセスを提案する。 我々のプロセスには、AIと人間のフィードバックの両方から、継続的な事前トレーニング、教師付き微調整、強化学習が組み込まれています。 得られたLLaMA-Clinicは,医師が作成したものと同等の精度で臨床記録を作成できる。
  論文  参考訳（メタデータ） (2024-04-25T15:34:53Z)
• Towards Expert-Level Medical Question Answering with Large Language Models [16.882775912583355]
  大規模言語モデル (LLMs) は医学的質問応答において大きな進歩をもたらした。 ここでは、基礎改善(PaLM2)、医療領域の細かな改善、戦略の推進を組み合わせ、ギャップを埋めるMedPaLM 2を提案する。 また, MedMC-ofQA, PubMed, MMLUの臨床トピックスデータセットに近づいたり, 最先端に近づいたりした。
  論文  参考訳（メタデータ） (2023-05-16T17:11:29Z)
• Large Language Models Encode Clinical Knowledge [21.630872464930587]
  大規模言語モデル(LLM)は、自然言語の理解と生成において印象的な能力を示している。 本稿では, 現実性, 正確性, 潜在的害, バイアスを含む複数の軸に沿ったモデル回答の人為的評価のための枠組みを提案する。 本研究は,モデル尺度とインストラクション・インシデント・チューニングにより,理解,知識の想起,医学的推論が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-26T14:28:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。