論文の概要: EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses
- arxiv url: http://arxiv.org/abs/2607.28788v1
- Date: Thu, 30 Jul 2026 19:27:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-03 14:29:40.45621
- Title: EarlyDx: An Admission-Anchored Benchmark for Open-Ended Generation of Evidence-Supported ED-Encounter Diagnoses
- Title(参考訳): EarlyDx: Evidence-Supported ED-Encounter Diagnoses のオープンエンベッド型ベンチマーク
- Abstract要約: EarlyDxは、オープンソースの早期診断のための大規模なベンチマークである。
MIMIC-IVで154,834人の救急隊員が遭遇して建造された。
入場時証拠を確実に合成する評価システムはない。
- 参考スコア(独自算出の注目度): 10.186968401088764
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Clinical diagnosis at hospital admission must be made rapidly from limited, incomplete evidence. Existing diagnosis-prediction benchmarks are poorly suited to this setting: they restrict prediction to closed code sets, exclude free-text notes, and supervise with discharge diagnoses that incorporate the full inpatient course. We introduce EarlyDx, a large-scale benchmark for open-ended early diagnosis, built from 154,834 emergency department encounters in MIMIC-IV. Each encounter is restricted to records available at admission time $t_0$ and supervised by the diagnoses recorded during the ED encounter rather than at discharge. An LLM auditor further verifies every free-text label as supported, partially supported, or unsupported by that evidence; the primary evaluation scores only fully supported labels. Under a semantic LLM-as-judge protocol, no evaluated system --- frontier general, medical-specialized, or in-domain post-trained --- synthesizes admission-time evidence reliably. Zero-shot models score largely by extraction, recovering only 3-31% of diagnoses that must be inferred rather than read from the record; post-training raises inference-dependent recall to 56%, but a sizeable margin remains, and on time-critical conditions no system attains a clinician's balance of sensitivity and precision. We release the full construction and evaluation pipeline at here.
- Abstract(参考訳): 入院時の臨床診断は、限られた不完全な証拠から迅速に行う必要がある。
既存の診断予測ベンチマークは、クローズドコードセットに予測を制限し、フリーテキストノートを除外し、完全な入院コースを組み込んだ退院診断を監督するなど、この設定にはあまり適していない。
我々はMIMIC-IVにおける154,834件の救急外来から構築した大規模早期診断ベンチマークであるEarlyDxを紹介する。
各出会は、入会時に利用可能な記録に制限され、退院時にではなく、EDの出会中に記録された診断によって監督される。
LLM監査者は、その証拠によって支持された、部分的に支持された、または支持された全ての自由テキストラベルをさらに検証する。
セマンティック LLM-as-judge プロトコルの下では、評価されたシステム -- フロンティア・ジェネラル、医学専門化、ドメイン内で訓練された -- は、入院時の証拠を確実に合成する。
ゼロショットモデルは、主に抽出によってスコアされ、記録から読み取るのではなく、推測される診断の3,31%しか回復しない;ポストトレーニングは推論依存リコールを56%に引き上げるが、サイズが小さいため、時間的に重要な条件下では、臨床医の感度と精度のバランスを達成できない。
完全な建設と評価のパイプラインをここでリリースします。
関連論文リスト
- NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳(メタデータ) (2026-09-10T08:34:56Z) - DDX-TRACE: A Benchmark for Medical Diagnostic Trajectories in VLMs [21.52456139726765]
ほとんどの医療AIベンチマークは、関連するコンテキストを事前に明らかにし、最終回答のみをスコア付けする。
MDX-TRACEはマルチモーダル・ニューロラジオロジーのための医師適応型ベンチマークである。
211件の難治性症例に対して、隠れた証拠の下で診断の軌跡を評価する。
論文 参考訳(メタデータ) (2026-05-22T13:41:10Z) - Ask Before You Diagnose: Safe-Psych, a Sequential Evaluation Benchmark for LLMs in Psychiatry [2.60905622443275]
大規模言語モデル(LLM)は、医療における意思決定支援にますます利用されている。
臨床証拠はしばしば不完全または進化している。
LLMが進化する診断の不確実性にどう対処するかを評価するためのベンチマークであるSafe-Psychを紹介する。
論文 参考訳(メタデータ) (2026-05-06T08:52:45Z) - Divide-then-Diagnose: Weaving Clinician-Inspired Contexts for Ultra-Long Capsule Endoscopy Videos [83.01543151239254]
我々は、診断駆動型CEビデオ要約という新しいタスクを定義する。
VideoCAPは、診断駆動アノテーションを備えた最初のCEデータセットである。
DiCEはクリニックにインスパイアされたフレームワークで、標準的なCE読み込みワークフローを反映している。
論文 参考訳(メタデータ) (2026-04-23T16:07:51Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳(メタデータ) (2026-04-06T00:23:10Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳(メタデータ) (2026-03-03T09:36:43Z) - Toward Guarantees for Clinical Reasoning in Vision Language Models via Formal Verification [12.60121003165514]
ヴィジュアル言語モデル(VLM)は放射線学レポートの起草において有望であるが、しばしば論理的矛盾に悩まされる。
標準的な語彙測度は、臨床パラフレージングを強く罰し、これらの誘因的障害を捉えるのに失敗する。
本稿では,VLMレポートの内部一貫性を決定的に監査するニューロシンボリック検証フレームワークを提案する。
論文 参考訳(メタデータ) (2026-02-27T15:49:59Z) - LLM-Guided Diagnostic Evidence Alignment for Medical Vision-Language Pretraining under Limited Pairing [15.915746496281079]
既存のCLIPスタイルの医療ビジョン-言語事前訓練法は、大域的または局所的なアライメントと実質的なペアデータに依存している。
本研究では, 事前学習目標をエビデンスレベルのアライメントにシフトさせるため, LLMガイドによる診断エビデンスアライメント手法を提案する。
本手法は,句のグラウンド化,画像テキスト検索,ゼロショット分類において,一貫した,重要な改善を実現する。
論文 参考訳(メタデータ) (2026-02-07T13:29:15Z) - Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。
LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。
我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
論文 参考訳(メタデータ) (2025-10-21T18:10:45Z) - Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。
本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。
このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
論文 参考訳(メタデータ) (2025-03-06T18:35:39Z) - Towards Reducing Diagnostic Errors with Interpretable Risk Prediction [18.474645862061426]
特定診断のリスクの増大または低下を示す患者EHRデータ中の証拠片をLCMを用いて同定する方法を提案する。
私たちの究極の目標は、証拠へのアクセスを増やし、診断エラーを減らすことです。
論文 参考訳(メタデータ) (2024-02-15T17:05:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。