論文の概要: Clinician use of language models diverges from how the models are evaluated

• arxiv url: http://arxiv.org/abs/2610.11069v1
• Date: Thu, 08 Oct 2026 01:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.723629
• Title: Clinician use of language models diverges from how the models are evaluated
• Title（参考訳）: 言語モデルの臨床利用 : モデルの評価方法から
• Abstract要約: 我々は,6,342人の医師,先進的な実践提供者,看護師が8ヶ月のロールアウト中に,35の専門職に送った127,833のクエリを分析した。 RCQ-Mapを58の公開ベンチマークに適用すると、中央ベンチマークにはドキュメント要求がなく、実際の使用のタスクミックスが共有され、タスクカテゴリにまたがる場合の31%にも満たない。 したがって、ベンチマークスコアは、実際に与えられた仕事のほとんどで臨床AIがどのように機能するかについてはほとんど語らず、実際の臨床使用と評価が一致すべきである。
• 参考スコア（独自算出の注目度）: 7.062389400307098
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language model (LLM) assistants are being deployed to clinicians across health systems, and judgments about their readiness rest largely on benchmark scores, most of them derived from examination questions or curated cases. A benchmark predicts performance in deployment only to the extent that its items resemble real use, yet whether benchmarks reflect the work these systems receive has rarely been measured. Here we analyze 127,833 queries sent by 6,342 physicians, advanced practice providers and nurses in 35 specialties to an institutional assistant during an eight-month roll-out. We characterize each query with RCQ-Map, a clinician-validated framework grounded in taxonomies of clinical questions and of LLM evaluation, which records its task, intent, answerability, missing information and potential harm. Documentation and administration (36.2%) and knowledge retrieval (28.9%) made up nearly two-thirds of use, and diagnosis 3.7%; more than a third of queries could not be answered well as posed. Applying RCQ-Map to 58 public benchmarks drawn from major evaluation suites and frontier model reports, which we assemble into the Clinical AI Benchmark Atlas, showed that the median benchmark contained no documentation requests and shared 31% of the task mix of real use, less than an even spread across task categories would. Benchmarks in suites designed to resemble clinical practice were individually no closer to real use than those used in frontier model reports. Benchmark scores therefore say little about how clinical AI performs on most of the work it is actually given, and evaluation should be matched to real clinical use.
• Abstract（参考訳）: 大規模言語モデル(LLM)アシスタントは、医療システム全体にわたって臨床医にデプロイされており、その準備性に関する判断は、ベンチマークスコアに大きく依存している。 ベンチマークは、その項目が実際の使用と類似している程度にしか、デプロイメントのパフォーマンスを予測しないが、ベンチマークがこれらのシステムが受ける成果を反映しているかどうかを計測することはめったにない。 ここでは,6,342人の医師,先進的な実践提供者,および看護師が8ヶ月のロールアウト中に,35の専門職に送った127,833のクエリを分析した。 臨床質問の分類を基礎としたRCQ-Mapと,そのタスク,意図,応答性,欠落情報,潜在的な危害を記録するLCM評価を用いて,各問合せを特徴付ける。 ドキュメンテーションと管理(36.2%)と知識検索(28.9%)は3分の2近く、診断は3.7%であった。 RCQ-Mapを大規模な評価スイートとフロンティアモデルレポートから58の公開ベンチマークに適用すると、中心的なベンチマークにはドキュメント要求がなく、実際の使用の31%が共有されている。 臨床実践に類似するように設計されたスイートのベンチマークは、フロンティアモデルレポートで使用されるものよりも、個別に実際の使用に近づいた。 したがって、ベンチマークスコアは、実際に与えられた仕事のほとんどで臨床AIがどのように機能するかについてはほとんど語らず、実際の臨床使用と評価が一致すべきである。

関連論文リスト

• KlinikeBench: Evaluating Language Models Beyond Diagnostic Accuracy [9.101205438220914]
  KlinikeBenchは、臨床医が認可した333のタスクのベンチマークである。 仮想患者、臨床ツール、タスク固有の成功基準を備えた隔離されたサンドボックス環境を提供する。 全体として、KlinikeBench氏は、完全な臨床経験を評価するためのテストベッドを提供している。
  論文  参考訳（メタデータ） (2026-09-29T20:08:21Z)
• A Decade-Scale Benchmark Evaluating LLMs' Clinical Practice Guidelines Detection and Adherence in Multi-turn Conversations [60.2076951536797]
  大規模言語モデル(LLM)は、医療シナリオにますます多くデプロイされている。 LLMが会話中に臨床ガイドラインを特定・遵守できるのかは不明確である。 CPGBenchは、LSMの臨床ガイドラインの検出と付着能力をベンチマークする自動フレームワークである。
  論文  参考訳（メタデータ） (2026-03-26T09:00:55Z)
• QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
  LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。 実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
  論文  参考訳（メタデータ） (2026-03-14T01:51:43Z)
• Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
  Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。 Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。 厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
  論文  参考訳（メタデータ） (2025-08-29T08:58:39Z)
• LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
  医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。 LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
  論文  参考訳（メタデータ） (2025-06-04T15:43:14Z)
• MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
  大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。 これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。 MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
  論文  参考訳（メタデータ） (2025-05-26T22:55:49Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。