論文の概要: AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions
- arxiv url: http://arxiv.org/abs/2610.22298v1
- Date: Thu, 15 Oct 2026 17:46:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 06:09:33.238522
- Title: AI Consilium: a Benchmark of LLM Clinical Multidisciplinary Second Opinions
- Title（参考訳）: AI Consilium: LLMの臨床分野における第2の意見のベンチマーク
- Abstract要約: 大規模言語モデル(LLMs)は複雑な症例の鑑別診断を生成できるが、有用な第2の意見は、事実的根拠があり、臨床的に一貫性があり、行動可能であり、安全である必要がある。
我々は,診断的に解決されたNEJM-MedQA症例300例を用いた多次元ベンチマークを開発した。
LLM審査員は3,040回の最終報告とそれに対応する構造的一次ロール出力を評価した。
- 参考スコア（独自算出の注目度）: 40.939080337428045
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can generate differential diagnoses for complex cases, but a useful second opinion must also be factually grounded, clinically coherent, actionable, and safe. We developed a multidimensional benchmark using 300 diagnostically resolved NEJM--MedQA cases: 110 for physician reference ratings and Judge calibration and 190 for held-out evaluation. Eight single-model pipelines generated independent role-specific opinions and interactive-consilium reports under free-form and structured clinical-reasoning conditions. A physician-calibrated LLM Judge evaluated 3,040 final reports and the corresponding structured primary-role outputs. Model identity separated report quality more strongly than response format. Structured final reports had higher overall mean scores in seven of eight model pipelines, with their clearest advantage in management (2.740 vs. 2.436). Compared with the structured pre-consilium primary-role opinion, the complete structured synthesis had higher pooled scores across all five shared criteria, with the largest increases in problem prioritization, factual grounding, and reasoning coherence. GPT-5.6-Sol led every evaluated component and reached consensus in the fewest review rounds. These findings show that the benchmark can distinguish model capability, the contribution of multidisciplinary synthesis, criterion-specific effects of response structure, deliberation dynamics, and inference requirements within one common-case evaluation.
- Abstract（参考訳）: 大きな言語モデル(LLMs)は、複雑な症例の鑑別診断を生成できるが、有用な第2の意見は、事実的根拠があり、臨床的に一貫性があり、行動可能であり、安全である必要がある。
診断学的に解決されたNEJM-MedQA患者300名を対象に,医師基準評価110名,判定校正190名,ホールドアウト評価190名の多次元ベンチマークを作成した。
8つの単一モデルパイプラインが独立した役割特異的な意見と対話的コンシリウムレポートを, フリーフォームおよび構造的臨床推論条件下で生成した。
LLM審査員は3,040回の最終報告とそれに対応する構造的一次ロール出力を評価した。
モデルアイデンティティは、レスポンスフォーマットよりもレポート品質を強く分離する。
構造的最終報告は8つのモデルパイプラインのうち7つの中で総合的な平均スコアが高かったが、その管理上の優位性は明らかであった(2.740対2.436)。
構造的プレコンシリウム・プライ・ロールの意見と比較すると、完全な構造的合成は5つの共有基準の全てにより高いプールスコアを有しており、問題の優先順位付け、事実的根拠付け、推論コヒーレンスが最大に増加した。
GPT-5.6-Solは評価された全てのコンポーネントをリードし、最少のレビューラウンドで合意に達した。
これらの結果は, モデル能力, 多分野合成の寄与, 応答構造に対する基準固有性, 検討力学, 推論要求を, 一つのケースで評価できることを示している。
関連論文リスト
- Knee3DVLM: Dual-Sequence Full-Volume Vision-Language Modeling for Comprehensive Knee MRI Assessment [4.998287167960019]
視覚言語モデル(VLM)は3次元の医療画像にますます応用されているが、膝関節MRIへの応用は限られている。
Knee3DVLMは、フルボリュームDESSと流体感応性TSE MRIを用いて57個の解剖学的に解決されたバイナリ診断ターゲットを予測するシーケンス対応VLMである。
論文 参考訳（メタデータ） (2026-10-06T14:58:53Z) - TCMClinicalReason-Bench: Can Language Models Reason from Pathogenesis to Prescription over Real-World Clinical Cases? [13.467418961332227]
大きな言語モデル(LLM)は、患者固有の証拠に不十分な臨床物語を生成することができる。
TCMClinicalReason-Bench を用いた症例地上反応の診断と治療成績の鑑別を行った。
論文 参考訳（メタデータ） (2026-10-03T02:05:17Z) - Towards Multidisciplinary Summarization of Hospital Stays: Efficient Sentence-Level Clinical Provenance Categorization [10.976481873409531]
本研究では,大規模言語モデル (LLM) の教師付き微調整 (SFT) を用いた臨床経験分類パイプラインを提案する。
2つのLlama-3モデルを2,002MIMIC-III(Adult ICU)コーパスであるMedSecIdに適応した。
モデル容量 (8B vs. 70B) と227文レベルのゴールド標準データセットを用いた定量化を行った。
論文 参考訳（メタデータ） (2026-06-01T16:57:51Z) - QuarkMedBench: A Real-World Scenario Driven Benchmark for Evaluating Large Language Models [8.050059911826338]
LLM(Large Language Models)は、標準化された医療試験に優れるが、高いスコアは、現実世界の医療クエリに対する高品質な応答に変換できないことが多い。
実世界の医療LCM評価に適した生態学的に有効なベンチマークであるQuarkMedBenchを紹介する。
論文 参考訳（メタデータ） (2026-03-14T01:51:43Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - Med-RewardBench: Benchmarking Reward Models and Judges for Medical Multimodal Large Language Models [57.73472878679636]
Med-RewardBenchは、医療報酬モデルと審査員を評価するために特別に設計された最初のベンチマークである。
Med-RewardBenchは、13の臓器系と8の臨床部門にまたがるマルチモーダルデータセットを特徴としている。
厳格な3段階のプロセスは、6つの臨床的に重要な次元にわたる高品質な評価データを保証する。
論文 参考訳（メタデータ） (2025-08-29T08:58:39Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳（メタデータ） (2025-03-06T18:35:39Z) - SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
臨床知識を符号化するための言語モデル(LLM)が示されている。
6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。
ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
論文 参考訳（メタデータ） (2024-07-03T11:02:12Z) - A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [57.88111980149541]
Asclepiusは、Med-MLLMの異なる医学的特長と診断能力で評価する、新しいMed-MLLMベンチマークである。
3つの基本原則に基づいて、アスクレピウスは15の医療専門分野を包括的に評価する。
また、6つのMed-MLLMの詳細な分析を行い、3人の専門家と比較した。
論文 参考訳（メタデータ） (2024-02-17T08:04:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。