論文の概要: CLIMB: A Clinical Multimorbidity Benchmark for Diagnosing Co-occurring Conditions through Multiturn Conversations
- arxiv url: http://arxiv.org/abs/2609.35462v1
- Date: Mon, 28 Sep 2026 15:50:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-02 05:14:22.600463
- Title: CLIMB: A Clinical Multimorbidity Benchmark for Diagnosing Co-occurring Conditions through Multiturn Conversations
- Title(参考訳): CLIMB:マルチターン会話による共同症状診断のための臨床多施設間ベンチマーク
- Abstract要約: CLIMB(CLIMB)は、医師モデルがシミュレーションされた患者にインタビューして、共同発生状態の基底的真実集合を復元するベンチマークである。
6つのモデルにまたがって、インタラクティブなケースの10%以上において、正確な条件のセットを復元することはない。
我々はこのパターンを単一仮説追跡の理論的参照モデルで定式化する。
- 参考スコア(独自算出の注目度): 32.87701546806414
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Patients often have several co-occurring clinical conditions, and the findings needed to identify and disambiguate them emerge over the course of a consultation. Evaluating clinical reasoning in this setting requires both multi-turn interaction and multi-label diagnosis. We introduce CLIMB, a benchmark in which a doctor model interviews a simulated patient to recover a ground truth set of co-occurring clinical conditions. Cases are synthesized from clinical decision algorithms and diagnostic datasets, grounding multimorbid presentations in structured clinical knowledge. Across six frontier and open models, none recovers the exact set of conditions in more than 10% of interactive cases. Diagnostic performance declines when conditions co-occur, even when models receive the full clinical record and the true number of conditions. Interaction reduces performance further. In controlled experiments, models behave like single-hypothesis trackers: they anchor on the diagnosis suggested by the opening findings, keep questioning around it, and recover a second condition mainly when a finding in view points to it. Questioning them further does not complete the set but adds mostly wrong diagnoses. We formalise this pattern with a theoretical reference model of single-hypothesis tracking. The benchmark, generator, and evaluation code are available at https://anonymous.4open.science/r/CLIMB-8340.
- Abstract(参考訳): 患者は複数の臨床症状を併存することが多く、相談の過程でそれらを識別し、曖昧にするために必要となる発見がある。
この環境での臨床推論を評価するには、多ターン相互作用と多ラベル診断の両方が必要である。
CLIMB(CLIMB)は、医師モデルがシミュレーションされた患者にインタビューして、臨床症状を再現する基礎的な真実を復元するベンチマークである。
症例は、臨床判定アルゴリズムと診断データセットから合成され、構造化された臨床知識のマルチモービルドプレゼンテーションの基礎となる。
6つのフロンティアとオープンモデルにまたがって、インタラクティブなケースの10%以上において、正確な条件のセットを復元することはない。
診断性能は、モデルが完全な臨床記録と実際の条件数を受け取っている場合であっても、条件が共起した場合に低下する。
相互作用はパフォーマンスをさらに低下させる。
コントロールされた実験では、モデルは単一仮説のトラッカーのように振る舞う: オープニングの発見によって示唆される診断に固執し、その周囲を疑問視し続け、主にビューの発見がそれを指しているときに第2の条件を回復する。
さらなる質問は、セットを完了しないが、ほとんど間違った診断を追加する。
我々はこのパターンを単一仮説追跡の理論的参照モデルで定式化する。
ベンチマーク、ジェネレータ、評価コードはhttps://anonymous.4open.science/r/CLIMB-8340で公開されている。
関連論文リスト
- Evaluating Multi-Turn Multimodal Diagnostic Reasoning on Challenging Real-World Clinical Cases [59.5328455571863]
ClinMM-Benchは、これまでで最大のマルチターンマルチモーダル臨床診断評価ベンチマークである。
実際の患者は1,089件、医療画像は3,760件、専門は8件。
プロプライエタリモデルでは診断精度が最も高かったが、正確な診断の割合は限られていた。
論文 参考訳(メタデータ) (2026-07-28T16:19:03Z) - ClinEnv: An Interactive Multi-Stage Long Horizon EHR Environment for Agents [14.434996950038956]
ClinEnvは、決定論的グラウンドマッチングと、その情報収集方法を通じて、モデルが決定するものをスコア付けする。
ClinEnvは、結果のみの評価に見えない、直接測定可能な情報取得ギャップを作る。
論文 参考訳(メタデータ) (2026-06-01T17:56:26Z) - Medical Model Synthesis Architectures: A Case Study [72.46211022258122]
現在のAIシステムは、不確実性の下で調整された推論に苦労している。
我々は,不確実性の下で,現実的に有用だが公式に透過的な臨床予測を行うことができるAIシステムのためのフレームワークを提案する。
このフレームワークの最初の概念実証は、どのようにして差分診断に利用できるかを示す。
論文 参考訳(メタデータ) (2026-05-10T19:30:16Z) - Clinical Cognition Alignment for Gastrointestinal Diagnosis with Multimodal LLMs [63.535652574541764]
MLLM(Multimodal Large Language Models)は医用画像解析において顕著な可能性を示した。
消化器内視鏡におけるそれらの応用は、現在、2つの重要な限界によって妨げられている。
本稿では,これらの課題に対処する新しい臨床認知アライメント(CogAlign)フレームワークを提案する。
論文 参考訳(メタデータ) (2026-03-21T07:47:37Z) - Mind the Rarities: Can Rare Skin Diseases Be Reliably Diagnosed via Diagnostic Reasoning? [31.103598483020857]
大規模視覚言語モデル(LVLM)は皮膚学において強い性能を示す。
稀な疾患に対する診断的推論は ほとんど未発見のままです
このデータセットには26,030のマルチモーダル画像テキストペアと6,354の臨床的に困難な症例が含まれている。
LVLMをリードするベンチマーク22は、診断精度、鑑別診断、臨床推論に重大な欠陥を呈する。
論文 参考訳(メタデータ) (2026-03-19T02:25:36Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳(メタデータ) (2026-01-23T11:59:13Z) - ClinDEF: A Dynamic Evaluation Framework for Large Language Models in Clinical Reasoning [58.01333341218153]
ClinDEF(ClinDEF)は, LLMにおける臨床推論をシミュレートされた診断対話を用いて評価する動的フレームワークである。
本手法は, 患者を発症し, LLMをベースとした医師と自動患者エージェントとのマルチターンインタラクションを容易にする。
実験により、ClinDEFは最先端のLSMにおいて重要な臨床推論ギャップを効果的に露呈することが示された。
論文 参考訳(メタデータ) (2025-12-29T12:58:58Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳(メタデータ) (2025-10-11T16:24:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。