論文の概要: Expert Evaluation of Clinical AI Tools on Real Point-of-Care Clinical Queries
- arxiv url: http://arxiv.org/abs/2606.28960v1
- Date: Sat, 27 Jun 2026 15:00:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-30 18:07:15.740213
- Title: Expert Evaluation of Clinical AI Tools on Real Point-of-Care Clinical Queries
- Title（参考訳）: リアル・ポイント・オブ・ケア・クリニカル・クエリーにおける臨床AIツールの専門的評価
- Abstract要約: 149名の医師が3つの汎用モデルと専門的な臨床ツールの回答を前後比較した。
臨床診断支援に関連する5次元の回答を比較すると, 専門的ツールが最多であった。
我々は,Real-POCQiを公開ベンチマークとして公開するとともに,本研究の結果を再現するための事前統計分析を行った。
- 参考スコア（独自算出の注目度）: 6.597407128898088
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Physicians now pose millions of clinical questions to AI tools each week, yet these tools are evaluated largely on hypothetical or exam-style questions, not those actually asked in practice. We report a blinded evaluation built on 620 Real-world Point-Of-Care Queries (Real-POCQi) submitted to the OpenEvidence (OE) platform by physicians spanning 30 specialties, as well as 187 questions from HealthBench. 149 practicing physicians across 36 states made head-to-head comparisons between answers from three frontier general-purpose models (Claude Opus 4.8, Gemini 3.1 Pro, and GPT-5.5) and a specialized clinical tool (OE), with graders matched to each question's specialty. When comparing answers along five dimensions relevant to clinical decision support -- accuracy, clinical utility, source quality, verifiability, & completeness -- physicians scored the specialized tool highest on all axes; in the primary analysis on Real-POCQi, win differences (margins between win and loss rates) ranged from 25 to 39 percentage points (p<0.001). Results remained consistent in sensitivity analyses stratifying by citation display, answer length, OE-user status, and Real-POCQi versus HealthBench. In parallel, LLM judges were found to systematically differ from expert judges, though both generally agreed on the best model. These findings underscore two conclusions: (i) AI tool evaluations should reflect real-world query distributions and use expert judges that mirror the specialization defining modern medicine and (ii) the consistent advantage of the specialized tool over general-purpose models does not necessarily mean that the latter cannot serve similar purposes, but that targeted engineering and customization can yield meaningful gains in performance for its users. We release Real-POCQi as a public benchmark, as well as the prespecified statistical analysis for reproducing results of this study.
- Abstract（参考訳）: 現在、医師は毎週何百万もの臨床質問をAIツールに当てはめているが、これらのツールは主に仮説や試験スタイルの質問に基づいて評価されている。
我々は,30の専門医およびHealthBenchからの187の質問に対して,OpenEvidence(OE)プラットフォームに提出された620の現実世界のPoint-Of-Care Queries(Real-POCQi)に基づいてブラインド評価を行った。
36州にまたがる149人の医師が、3つのフロンティア汎用モデル(Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5)と専門臨床ツール(OE)の回答と、各質問の専門性に合ったグレーダーとを、直接比較した。
臨床診断支援に関する5次元の回答(精度,臨床的有用性,ソース品質,妥当性,完全性)を比較すると,医師はすべての軸において,特別なツールを最も高く評価し,Real-POCQiの一次分析では,勝率と敗率の差は25～39ポイント(p<0.001)であった。
その結果, 刺激表示, 応答長, OE-user 状態, および Real-POCQi vs HealthBench による感度解析は一致しなかった。
並行して、LSMの審査員は専門家の審査員と体系的に異なることが判明した。
これらの結果は,2つの結論を裏付けるものである。
(i)AIツール評価は、現実世界の問合せ分布を反映し、現代医学を規定する専門化を反映した専門家審査員を用いるべきである。
(i)汎用モデルに対する特殊ツールの一貫性のある優位性は、必ずしも後者が同様の目的を果たせないという意味ではなく、目的とするエンジニアリングとカスタマイズは、ユーザにとって有意義なパフォーマンス向上をもたらす可能性がある。
我々は,Real-POCQiを公開ベンチマークとして公開するとともに,本研究の結果を再現するための事前統計分析を行った。
関連論文リスト
- Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。
ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。
MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
論文 参考訳（メタデータ） (2026-06-03T17:17:16Z) - QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。
実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
論文 参考訳（メタデータ） (2026-03-14T01:51:43Z) - Generalist Large Language Models Outperform Clinical Tools on Medical Benchmarks [1.2773749417703923]
ジェネラリストモデルは一貫して臨床ツールより優れていた。
OpenEvidenceとUpToDate Expert AIは、完全性、コミュニケーション品質、コンテキスト認識、システムベースの安全性推論の欠陥を実証した。
論文 参考訳（メタデータ） (2025-12-01T02:14:43Z) - Assessing LLMs' Performance: Insights from the Chinese Pharmacist Exam [9.07457306513003]
中国では、国家薬剤師試験は、薬剤師の臨床的および理論的能力を評価するための標準化されたベンチマークとして機能する。
本研究では,ChatGPT-4oとDeepSeek-R1の2つの大規模言語モデルの性能を比較することを目的とした。
論文 参考訳（メタデータ） (2025-11-25T17:31:25Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - How to Evaluate Medical AI [4.23552814358972]
アルゴリズム診断(RPAD, RRAD)の相対精度とリコールについて紹介する。
RPADとRADは、AIの出力を単一の参照ではなく複数の専門家の意見と比較する。
大規模な研究によると、DeepSeek-V3のようなトップパフォーマンスモデルは、専門家のコンセンサスに匹敵する一貫性を達成している。
論文 参考訳（メタデータ） (2025-09-15T14:01:22Z) - OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries [2.2807344448218507]
われわれはHealthBenchを用いてRAGをベースとした臨床サポートアシスタントDR.INFOを評価した。
1000の挑戦的な例のハードサブセットでは、DR.INFOはHealthBenchスコア0.51を達成している。
同様のエージェントRAGアシスタントに対する100サンプルの別評価では、ヘルスベンチスコア0.54のパフォーマンスリードを維持している。
論文 参考訳（メタデータ） (2025-08-29T09:51:41Z) - Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。
Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。
厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文 参考訳（メタデータ） (2025-08-29T08:58:39Z) - Uncertainty-Driven Expert Control: Enhancing the Reliability of Medical Vision-Language Models [52.2001050216955]
既存の方法は、モデル構造を調整したり、高品質なデータで微調整したり、好みの微調整によって、医療ビジョン言語モデル(MedVLM)の性能を向上させることを目的としている。
我々は,MedVLMと臨床専門知識の連携を図るために,Expert-Controlled-Free Guidance (Expert-CFG) という,ループ内のエキスパート・イン・ザ・ループフレームワークを提案する。
論文 参考訳（メタデータ） (2025-07-12T09:03:30Z) - LLMEval-Med: A Real-world Clinical Benchmark for Medical LLMs with Physician Validation [58.25892575437433]
医学における大規模言語モデル (LLMs) の評価は, 医療応用には精度が高く, 誤差の少ないため重要である。
LLMEval-Medは、5つの中核医療領域をカバーする新しいベンチマークであり、現実の電子健康記録から得られた2,996の質問と専門家が設計した臨床シナリオを含む。
論文 参考訳（メタデータ） (2025-06-04T15:43:14Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。