論文の概要: MedRoundsQA: A Persona and Difficulty Aware Evaluation for Multi-Turn Medical Consultations

• arxiv url: http://arxiv.org/abs/2609.12851v1
• Date: Fri, 11 Sep 2026 13:41:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.765354
• Title: MedRoundsQA: A Persona and Difficulty Aware Evaluation for Multi-Turn Medical Consultations
• Title（参考訳）: MedRoundsQA : 多施設医療相談の人格と難易度評価
• Abstract要約: 医療ベンチマークは、実際のコンサルテーションを反映していない単ターン、複数選択の臨床ケースで支配されている。 MedRoundsQAは17の専門分野にまたがる1,387件の検診ケースから得られたマルチターン診断ベンチマークである。
• 参考スコア（独自算出の注目度）: 37.085079820080644
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Medical benchmarks are dominated by single-turn, multiple-choice clinical cases that poorly reflect real consultations. Practically, clinicians elicit evidence interactively and patient communication varies widely. We introduce MedRoundsQA, a multi-turn diagnostic benchmark derived from 1,387 board-exam cases across 17 specialties. Each case is converted into a structured 24-slot clinical record, and then instantiated as controlled doctor-patient dual-agent dialogues under varying patient personas, with the underlying clinical content held fixed. We further classify cases by difficulty using model-based uncertainty to enable easy-to-hard analysis. Evaluations of fifteen LLM doctor agents show that (i) moving from a single-turn diagnosis on the standardized records to multi-turn consultations causes large degradations of roughly 13-39 points; (ii) more turns reliably improves question relevance, but diagnostic accuracy exhibits diminishing returns and typically plateaus after 6-12 turns; and (iii) patient persona differences can shift diagnosis accuracy by about 7-8 points (lowest to highest education), highlighting equity risks that single-turn benchmarks miss.
• Abstract（参考訳）: 医療ベンチマークは、実際のコンサルテーションを反映していない単ターン、複数選択の臨床ケースで支配されている。 実際、臨床医はインタラクティブにエビデンスを誘発し、患者とのコミュニケーションは様々である。 MedRoundsQAは17の専門分野にまたがる1,387件の検診ケースから得られたマルチターン診断ベンチマークである。 各症例は24スロットの構造化された臨床記録に変換され、その後、様々な患者ペルソナの下で医師と医師の二重エージェントの対話としてインスタンス化され、基礎的な臨床内容が固定される。 さらに、モデルに基づく不確実性を用いてケースを分類し、容易かつハードな分析を可能にする。 LLMの医師15名による評価 i) 標準化された記録上の一ターン診断から多ターン相談への移行は、およそ13～39ポイントの大幅な劣化を引き起こす。 (ii)質問関連性を確実に改善する傾向にあるが、診断精度は6～12回目以降、リターンが低下し、通常は高原が出現する。 三 患者ペルソナの差異は、診断精度を約7～8ポイント(高等教育最下位)にシフトさせ、単ターンベンチマークが見逃す株式リスクを浮き彫りにする。

関連論文リスト

• MedReaMM: Evaluating Large Multimodal Models on Expert-Level Clinical Diagnostic Synthesis [61.266743965495884]
  異種臨床証拠を合成するモデルの能力を評価するためのベンチマークであるMedReaMMを紹介する。 MedReaMMは625の専門患者と、平均2.79の医療画像と、ICD-11コードで注釈付けされた1,042の標準診断を含む。 23大マルチモーダルモデル (LMM) を評価し, 診断精度が50%未満であることが確認された。
  論文  参考訳（メタデータ） (2026-08-23T09:37:53Z)
• Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
  ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。 実際の患者は1,089件、医療画像は3,760件、専門は8件。 プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
  論文  参考訳（メタデータ） (2026-07-28T16:19:03Z)
• Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
  大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。 1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。 診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
  論文  参考訳（メタデータ） (2026-04-06T00:23:10Z)
• One Panel Does Not Fit All: Case-Adaptive Multi-Agent Deliberation for Clinical Prediction [10.760929240872564]
  本稿では, CAMP (Case-Adaptive Multi-agent Panel) を提案する。 ハイブリッドルータは、強いコンセンサス、出席医の判断へのフォールバック、または投票数よりも議論品質を重くする証拠に基づく仲裁を通じて、それぞれの診断を指示する。 CAMPは、多くの競合するマルチエージェントメソッドよりも少ないトークンを消費しながら、強力なベースラインを一貫して上回り、投票記録と、透明な決定監査を提供する仲裁トレースを提供する。
  論文  参考訳（メタデータ） (2026-03-31T18:00:34Z)
• Stop Listening to Me! How Multi-turn Conversations Can Degrade Diagnostic Reasoning [12.166175637413637]
  3つの臨床データセットから17の大規模言語モデル(LLM)を評価する。 モデル信念を測定するための"スティック・オア・スウィッチ"評価フレームワークを開発した。 実験の結果,マルチターンインタラクションが常に性能を低下させる会話税が明らかにされた。
  論文  参考訳（メタデータ） (2026-03-12T00:14:35Z)
• LingxiDiagBench: A Multi-Agent Framework for Benchmarking LLMs in Chinese Psychiatric Consultation and Diagnosis [14.82377002030236]
  精神疾患は世界中で広く普及している。 精神科医の不足と面接に基づく診断の固有の主観性は、タイムリーで一貫した精神的健康評価に重大な障壁をもたらす。 大規模マルチエージェントベンチマークであるLingxiDiagBenchを提案する。
  論文  参考訳（メタデータ） (2026-02-10T03:46:05Z)
• Evolving Diagnostic Agents in a Virtual Clinical Environment [75.59389103511559]
  本稿では,大規模言語モデル(LLM)を強化学習を用いた診断エージェントとして訓練するためのフレームワークを提案する。 本手法は対話型探索と結果に基づくフィードバックによって診断戦略を取得する。 DiagAgentはDeepSeek-v3やGPT-4oなど、最先端の10のLLMを著しく上回っている。
  論文  参考訳（メタデータ） (2025-10-28T17:19:47Z)
• Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
  大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。 本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。 本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
  論文  参考訳（メタデータ） (2025-10-11T16:24:35Z)
• DiagnosisArena: Benchmarking Diagnostic Reasoning for Large Language Models [25.13622249539088]
  diagnosisArenaは、専門レベルの診断能力の厳格な評価のために設計されたベンチマークである。 診断アリーナは1,113組のセグメンテーション患者と、28の専門専門医からなる。 我々の研究では、最も先進的な推論モデルであるo3、o1、DeepSeek-R1でさえ、それぞれ51.12%、31.09%、17.79%の精度しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2025-05-20T09:14:53Z)
• Language models are susceptible to incorrect patient self-diagnosis in medical applications [0.0]
  患者からの自己診断報告を含むように修正された米国の医療委員会試験からの複数項目の質問を含む様々なLSMを提示する。 以上の結果から, 誤った偏見検証情報を提案すると, LLMの診断精度は劇的に低下することが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-17T19:56:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。