論文の概要: Sequential Diagnosis with Language Models

• arxiv url: http://arxiv.org/abs/2506.22405v1
• Date: Fri, 27 Jun 2025 17:27:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 21:12:23.310302
• Title: Sequential Diagnosis with Language Models
• Title（参考訳）: 言語モデルを用いた逐次診断
• Authors: Harsha Nori, Mayank Daswani, Christopher Kelly, Scott Lundberg, Marco Tulio Ribeiro, Marc Wilson, Xiaoxuan Liu, Viknesh Sounderajah, Jonathan Carlson, Matthew P Lungren, Bay Gross, Peter Hames, Mustafa Suleyman, Dominic King, Eric Horvitz,
• Abstract要約: 本稿では,304症例を段階的に診断するシークエンシャル診断ベンチマークを紹介する。 成績は、診断精度だけでなく、医師の診察や検査の費用によって評価される。 また,医師のパネルを模擬したモデル診断オーケストレータであるMAI診断オーケストレータ(MAI-DxO)についても紹介する。
• 参考スコア（独自算出の注目度）: 21.22416732642907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Artificial intelligence holds great promise for expanding access to expert medical knowledge and reasoning. However, most evaluations of language models rely on static vignettes and multiple-choice questions that fail to reflect the complexity and nuance of evidence-based medicine in real-world settings. In clinical practice, physicians iteratively formulate and revise diagnostic hypotheses, adapting each subsequent question and test to what they've just learned, and weigh the evolving evidence before committing to a final diagnosis. To emulate this iterative process, we introduce the Sequential Diagnosis Benchmark, which transforms 304 diagnostically challenging New England Journal of Medicine clinicopathological conference (NEJM-CPC) cases into stepwise diagnostic encounters. A physician or AI begins with a short case abstract and must iteratively request additional details from a gatekeeper model that reveals findings only when explicitly queried. Performance is assessed not just by diagnostic accuracy but also by the cost of physician visits and tests performed. We also present the MAI Diagnostic Orchestrator (MAI-DxO), a model-agnostic orchestrator that simulates a panel of physicians, proposes likely differential diagnoses and strategically selects high-value, cost-effective tests. When paired with OpenAI's o3 model, MAI-DxO achieves 80% diagnostic accuracy--four times higher than the 20% average of generalist physicians. MAI-DxO also reduces diagnostic costs by 20% compared to physicians, and 70% compared to off-the-shelf o3. When configured for maximum accuracy, MAI-DxO achieves 85.5% accuracy. These performance gains with MAI-DxO generalize across models from the OpenAI, Gemini, Claude, Grok, DeepSeek, and Llama families. We highlight how AI systems, when guided to think iteratively and act judiciously, can advance diagnostic precision and cost-effectiveness in clinical care.
• Abstract（参考訳）: 人工知能は、専門家の医療知識と推論へのアクセスを拡大する大きな約束を持っています。 しかし、言語モデルのほとんどの評価は、実世界の環境におけるエビデンスベースの医学の複雑さとニュアンスを反映しない静的なウィグネットと多重選択の質問に依存している。 臨床実践では、医師は、診断仮説を反復的に定式化し、修正し、それぞれの質問に適応し、彼らが学んだことをテストし、最終診断にコミットする前に進化する証拠を計測する。 この反復過程をエミュレートするために, 診断に挑戦するNew England Journal of Medicine(NEJM-CPC)の304症例を段階的に診断するシークエンシャル診断ベンチマーク(Sequential diagnosis Benchmark)を導入する。 医師やAIは短いケースから始まり、明示的にクエリされた場合にのみ発見を明らかにするゲートキーパーモデルから追加の詳細を反復的に要求する必要がある。 成績は、診断精度だけでなく、医師の診察や検査の費用によって評価される。 また,医師のパネルを模擬したモデル診断オーケストレータであるMAI診断オーケストレータ(MAI-DxO)を提案する。 OpenAIのo3モデルと組み合わせると、MAI-DxOは80%の精度で診断できる。 MAI-DxOは、医師と比較して診断コストを20%削減し、市販のO3に比べて70%削減する。 最大精度で設定すると、MAI-DxOは85.5%の精度が得られる。 MAI-DxOによるこれらのパフォーマンス向上は、OpenAI、Gemini、Claude、Grok、DeepSeek、Llamaファミリーのモデルで一般化されている。 我々は、AIシステムが、反復的に考え、司法的に行動するように指導された場合、臨床医療における診断精度と費用対効果を向上する方法について強調する。

関連論文リスト

• An Agentic System for Rare Disease Diagnosis with Traceable Reasoning [58.78045864541539]
  大型言語モデル(LLM)を用いた最初のまれな疾患診断エージェントシステムであるDeepRareを紹介する。 DeepRareは、まれな疾患の診断仮説を分類し、それぞれに透明な推論の連鎖が伴う。 このシステムは2,919の疾患に対して異常な診断性能を示し、1013の疾患に対して100%の精度を達成している。
  論文  参考訳（メタデータ） (2025-06-25T13:42:26Z)
• DiagnosisArena: Benchmarking Diagnostic Reasoning for Large Language Models [25.13622249539088]
  diagnosisArenaは、専門レベルの診断能力の厳格な評価のために設計されたベンチマークである。 診断アリーナは1,113組のセグメンテーション患者と、28の専門専門医からなる。 我々の研究では、最も先進的な推論モデルであるo3、o1、DeepSeek-R1でさえ、それぞれ51.12%、31.09%、17.79%の精度しか達成していないことが明らかになった。
  論文  参考訳（メタデータ） (2025-05-20T09:14:53Z)
• MedCaseReasoning: Evaluating and learning diagnostic reasoning from clinical case reports [49.00805568780791]
  MedCaseReasoningはLarge Language Models(LLM)を評価するための最初のオープンアクセスデータセットである。 データセットには14,489の診断的質問・回答ケースが含まれており、それぞれに詳細な推論文がペアリングされている。 我々は,MedCaseReasoning上での最先端の推論LPMを評価し,診断と推論に重大な欠点を見出した。
  論文  参考訳（メタデータ） (2025-05-16T22:34:36Z)
• AI Hospital: Benchmarking Large Language Models in a Multi-agent Medical Interaction Simulator [69.51568871044454]
  我々は,emphDoctorをプレイヤとして,NPC間の動的医療相互作用をシミュレーションするフレームワークであるtextbfAI Hospitalを紹介した。 この設定は臨床シナリオにおけるLCMの現実的な評価を可能にする。 高品質な中国の医療記録とNPCを利用したマルチビュー医療評価ベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-15T06:46:48Z)
• Enhancing Diagnostic Accuracy through Multi-Agent Conversations: Using Large Language Models to Mitigate Cognitive Bias [5.421033429862095]
  臨床的意思決定における認知的バイアスは、診断の誤りや患者下結果に大きく寄与する。 本研究では,多エージェントフレームワークの利用を通じて,これらのバイアスを軽減するために,大規模言語モデルが果たす役割について検討する。
  論文  参考訳（メタデータ） (2024-01-26T01:35:50Z)
• Towards the Identifiability and Explainability for Personalized Learner Modeling: An Inductive Paradigm [36.60917255464867]
  本稿では,エンコーダ・デコーダモデルにインスパイアされた新しい応答効率応答パラダイムに基づく,識別可能な認知診断フレームワークを提案する。 診断精度を損なうことなく,ID-CDFが効果的に対処できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-01T07:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。