論文の概要: CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR
- arxiv url: http://arxiv.org/abs/2608.07796v1
- Date: Fri, 07 Aug 2026 22:39:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.514311
- Title: CliniCARE-Bench: Clinical Calibrated Audit of Medical Reasoning in EHR
- Title（参考訳）: CliniCARE-Bench : EHRにおける臨床検診
- Abstract要約: CliniCARE-Benchは、振り返り臨床検査のベンチマークである。
実患者由来MIMIC-IVデータより, 患者特異的症例750例と推定した。
システムは4つの評決のうちの1つを返す: Yes, No, Indeterminate: Lack of Data, or Indeterminate: Medically Ambiguous。
- 参考スコア（独自算出の注目度）: 15.66578453195388
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models perform strongly on medical knowledge benchmarks, but reliable clinical deployment requires agents to conduct defensible investigations over heterogeneous, longitudinal records: determining what evidence is needed, retrieving and reconciling structured and free-text data, grounding conclusions in verifiable evidence, and deferring cases that cannot be resolved reliably. We introduce CliniCARE-Bench (Clinical Calibrated Audit of Medical Reasoning in EHR), a benchmark for retrospective clinical audit: 25 clinician-validated scenarios instantiated as 750 patient-specific cases over real-patient-derived MIMIC-IV data. Systems investigate each case through a governed, logged tool environment for record retrieval, computation, and policy access, and return one of four verdicts---Yes, No, Indeterminate: Lack of Data, or Indeterminate: Medically Ambiguous---the last two separating missing evidence from residual medical ambiguity. Beyond verdict accuracy, we score patient-evidence and policy grounding, process adherence, calibrated abstention, reliability, and efficiency against case-level reference verdicts produced by independent multi-model adjudication and calibrated against Clinical Board review. Every retrieval, computation, and report is replayable, so the investigation trace is inspectable and scorable. To our knowledge, CliniCARE-Bench is the first deployment-oriented clinical-agent benchmark to jointly evaluate real longitudinal EHR investigation, claim-level evidence grounding, governing-policy use, process adherence, and calibrated abstention within a common patient-level adjudication framework. Across 16 agentic systems, four-way accuracy spans 65.3-76.1%, but raw accuracy overstates investigation quality. Defect-free accuracy, which credits a verdict only when correct and free of prohibited shortcuts, is 4.8-14.8 points lower and reorders the leaderboard.
- Abstract（参考訳）: 大規模な言語モデルは医療知識のベンチマークで強く機能するが、信頼性の高い臨床展開では、エージェントは不均一で長大な記録に対する防御可能な調査を行う必要がある。
CliniCARE-Bench (CliniCARE-Bench: CliniCARE-Bench in EHR: Clinic Calibrated Audit of Medical Reasoning in EHR) は, 臨床検査の基準である。
システムは、記録検索、計算、ポリシーアクセスのための管理されたツール環境を通じて各ケースを調査し、4つの評定のうちの1つを返します。
検証精度の他に, 個別の多モデル偏見による症例レベルの基準評定に対して, 患者証拠・政策根拠, プロセスの順守, キャリブレーション, 信頼性, 効率を評価し, 臨床評定に対して校正を行った。
検索、計算、レポートはすべて再生可能であるので、調査トレースは検査可能で、検査可能である。
我々の知る限り、CliniCARE-Benchは、一般的な患者レベルの判断枠組みの中で、実時間EHR調査、クレームレベル証拠の根拠、統治・政治利用、プロセスの遵守、および調整された棄権を共同で評価する、最初のデプロイメント指向臨床エージェントベンチマークである。
16のエージェントシステムで4方向精度は65.3-76.1%だが、実際の精度は調査品質を上回っている。
欠陥のない正確さは、禁止されたショートカットの正確かつ自由な場合にのみ判断を信用し、4.8-14.8ポイント低くなり、リーダーボードをリオーダーする。
関連論文リスト
- MedTRACE: Tool-Augmented Multimodal Clinical Reasoning Agents for Evidence-Grounded Decision-Making [13.499477476787602]
本稿では,エビデンスに基づく意思決定のための多モード臨床推論剤であるMedTRACEについて述べる。
視覚的グラウンドディング、エビデンス検索、構造化解析ツールを動的に起動し、診断関連領域を特定する。
証拠の裏付け、聴取可能な推論の痕跡、信頼性の校正などと共に診断を行う。
論文 参考訳（メタデータ） (2026-09-13T22:32:49Z) - PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents [5.247635961504091]
patientAgentBenchは、患者が直面するエージェント医療をベンチマークする。
シミュレーションされた患者と会話しながら、医療ツールのサンドボックスでエージェントにラップされた基礎モデルを評価する。
同じ1200のシナリオで、同じ4つのファミリーで10のモデルをベンチマークし、臨床的なギャップを見つけました。
論文 参考訳（メタデータ） (2026-07-28T09:24:04Z) - SafeImpute: Reliable Clinical Data Imputation via Conformal Selection [35.40404498771435]
臨床医療は重要な検査指標に頼っていることが多いが、実際の患者訪問は少なく、検査は不規則に発注される。
本研究は, 信頼性のある治療効果を選択的に解放しつつ, 正確な治療効果を生み出すことを目的として, 信頼性の高い治療効果について検討する。
本稿では,不規則かつスパースな臨床記録のための信頼性のある計算手法であるSafeImputeを提案する。
論文 参考訳（メタデータ） (2026-07-06T20:16:21Z) - Detecting Clinical Discrepancies in Health Coaching Agents: A Dual-Stream Memory and Reconciliation Architecture [71.46525715889656]
汎用エージェントメモリシステムは、ユーザの最新のステートメントで古い事実を上書きすることでコヒーレンスを最適化する。
本稿では,患者の物語を構造化された臨床記録から厳密に分離するDual-Stream Memory Architectureを提案する。
675日間のウェルネスコーチングセッションにおいて,26名の患者を対象にこのアーキテクチャを評価した。
論文 参考訳（メタデータ） (2026-04-29T17:59:28Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Guideline-Grounded Evidence Accumulation for High-Stakes Agent Verification [60.18369393468405]
既存の検証器は通常、ドメイン知識の欠如と限られた校正のために性能が劣る。
GLEANは専門家によって計算されたプロトコルをトラジェクトリインフォームされ、よく校正された正当性信号にコンパイルする。
我々は,MIMIC-IVデータセットから得られた3つの疾患の薬物的臨床診断でGLEANを実証的に検証した。
論文 参考訳（メタデータ） (2026-03-03T09:36:43Z) - LiveMedBench: A Contamination-Free Medical Benchmark for LLMs with Automated Rubric Evaluation [22.211535340726073]
LiveMedBenchは、オンライン医療コミュニティからリアルな臨床ケースを抽出する、継続的に更新されたベンチマークである。
LiveMedBenchは、38の専門医と複数の言語にまたがる2,756の現実世界のケースで構成され、16,702のユニークな評価基準と組み合わせている。
大規模な評価では、最高のパフォーマンスモデルでさえ39.2%しか達成せず、84%のモデルがカット後のケースで性能劣化を示す。
論文 参考訳（メタデータ） (2026-02-10T23:38:25Z) - AgentsEval: Clinically Faithful Evaluation of Medical Imaging Reports via Multi-Agent Reasoning [73.50200033931148]
本稿では,放射線科医の協調診断ワークフローをエミュレートしたマルチエージェントストリーム推論フレームワークであるAgensEvalを紹介する。
評価プロセスを基準定義、エビデンス抽出、アライメント、一貫性スコアなどの解釈可能なステップに分割することで、AgensEvalは明確な推論トレースと構造化された臨床フィードバックを提供する。
実験結果から,AgensEvalは,言い換え,意味的,スタイリスティックな摂動の下でも頑健な臨床的整合性,意味的忠実性,解釈可能な評価を提供することが示された。
論文 参考訳（メタデータ） (2026-01-23T11:59:13Z) - Timely Clinical Diagnosis through Active Test Selection [49.091903570068155]
本稿では,現実の診断推論をよりうまくエミュレートするためのACTMED (Adaptive Clinical Test selection via Model-based Experimental Design)を提案する。
LLMは柔軟なシミュレータとして機能し、構造化されたタスク固有のトレーニングデータを必要とせずに、患者状態のもっともらしい分布を生成し、信念の更新をサポートする。
我々は、実世界のデータセット上でACTMEDを評価し、診断精度、解釈可能性、リソース使用量を改善するためにテスト選択を最適化できることを示す。
論文 参考訳（メタデータ） (2025-10-21T18:10:45Z) - Simulating Viva Voce Examinations to Evaluate Clinical Reasoning in Large Language Models [51.91760712805404]
大規模言語モデル(LLM)におけるシーケンシャルな臨床推論を評価するためのベンチマークであるVivaBenchを紹介する。
本データセットは,医療訓練における(口頭)検査をシミュレートする対話的シナリオとして構成された1762名の医師による臨床ヴィグネットから構成される。
本分析では,臨床における認知的誤りを反映するいくつかの障害モードを同定した。
論文 参考訳（メタデータ） (2025-10-11T16:24:35Z) - Clinically Grounded Agent-based Report Evaluation: An Interpretable Metric for Radiology Report Generation [32.410641778559544]
ICARE (Interpretable and Clinicallygrounded Agent-based Report Evaluation) は、解釈可能な評価フレームワークである。
2つのエージェントは、それぞれが基礎的真実または生成されたレポートを持ち、臨床的に有意義な質問を発生し、互いにクイズする。
スコアを質問応答ペアにリンクすることで、ICAREは透明で解釈可能な評価を可能にする。
論文 参考訳（メタデータ） (2025-08-04T18:28:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。