論文の概要: ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV
- arxiv url: http://arxiv.org/abs/2605.11143v1
- Date: Mon, 11 May 2026 18:47:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.367848
- Title: ClinicalBench: Stress-Testing Assertion-Aware Retrieval for Cross-Admission Clinical QA on MIMIC-IV
- Title（参考訳）: クリニカルベンチ:MIMIC-IVにおけるクロスプロミッション臨床QAのためのストレステスト用アサーション-アウェア検索
- Authors: Alex Stinard,
- Abstract要約: 推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。
我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。
EpiKGは、アサーションラベルと時間性タグを患者の知識グラフに格納し、質問意図による検索をルーティングする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Reasoning benchmarks measure clinical performance on clean inputs. We evaluate the step before reasoning: retrieval over real EHR notes, where negation, temporality, and family-versus-patient attribution can flip a correct answer to a wrong one. EpiKG carries an assertion label and a temporality tag with every fact in a patient knowledge graph, then routes retrieval by question intent. ClinicalBench is a 400-question test over 43 MIMIC-IV patients across 9 assertion-sensitive categories. A 7-condition ablation tests each piece of EpiKG across six LLMs (Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B). Three physicians blindly adjudicated 100 paired items. The author-blind primary endpoint, leave-author-out paired exact McNemar on 50 unanimous-strict items rated by two external physicians, yields +22.0 percentage points (95 percent Newcombe CI [+5.1, +31.5], p=0.0192). The architectural novelty, intent-aware KG-RAG over a Contriever dense-RAG baseline (C2b to C4g_kw on the change-excluded n=362 endpoint), is +8.84 percentage points (paired McNemar p=1.79e-3); +12.43 percentage points under oracle intent. Sensitivities agree directionally: three-rater physician majority +24.0 percentage points (subject to single-author circularity); deterministic keyword reproducibility proxy +39.5 percentage points. Across the six models, the gain shrinks as the LLM-alone baseline rises (beta=-1.123, r=-0.921, p=0.009). With n=6 this looks more like regression to the mean than encoding substituting for model size. Physician adjudication identified 56 percent of auto-generated reference answers as defective, a methodological finding indicating that NLP-pipeline clinical-QA benchmarks require physician adjudication to be usable. ClinicalBench, the frozen evaluator, three-rater adjudication data, and the EpiKG output stack are publicly released.
- Abstract（参考訳）: 推論ベンチマークはクリーンインプットの臨床的パフォーマンスを測定する。
我々は, 否定, 時間性, 家族反対の帰属が正しい答えを誤ったものに戻すことができる, 実際の EHR ノートを検索することで, 推論の段階を評価する。
EpiKGは、患者の知識グラフにすべての事実を含むアサーションラベルと時間タグを持ち、質問意図による検索をルーティングする。
ClinicalBenchは、9つのアサーション感受性カテゴリーにわたる43人のMIMIC-IV患者に対する400回の検査である。
7条件アブレーションはエピKGを6つのLDM(Claude Opus 4.6, GPT-OSS 20B, MedGemma 27B, Gemma 4 31B, MedGemma 1.5 4B, Qwen 3.5 35B)で試験する。
3人の医師が盲目的に100組のアイテムを判断しました。
2人の外科医が定めている50の一律的項目について、著者・著者=アウトの正確なマクネマールは、Newcombe CI [+5.1, +31.5], p=0.0192) の95%で+22.0のパーセンテージを得られる。
コントリバー高密度RAG基線(C2bからC4g_kwはn=362の終点)上のアーキテクチャの新規性は、+8.84パーセンテージポイント(McNemar p=1.79e-3) +12.43パーセンテージポイントである。
感度は順に一致している: 3レイターの医師の多数派+24.0ポイント(単一著者の循環に従わなければならない)、決定論的キーワード再現性プロキシ+39.5ポイント。
6つのモデル全体で、LLM-aloneベースラインが上昇するにつれて利得は減少する(beta=-1.123, r=-0.921, p=0.009)。
n=6の場合、これはモデルサイズの置換を符号化するよりも平均への回帰に近い。
医師の偏見では、自動生成された基準回答の56%が欠陥であり、NLP-ピペリン臨床QAベンチマークが医師の偏見を必要とすることを示す方法が見つかった。
凍結評価器、3レータ偏差データ、EpiKG出力スタックを公開リリースする。
関連論文リスト
- Agentic clinical reasoning over longitudinal myeloma records: a retrospective evaluation against expert consensus [13.511095666949055]
多発性骨髄腫は、数年から数十年にわたって連続的な治療によって管理される。
第3次センターで治療を受けた811人の骨髄腫患者(2001年-2026年)の縦断的臨床記録について振り返り評価を行った。
単パス検索増強世代 (RAG) と反復RAG (反復RAG) , フルコンテクスト入力 (フルコンテクスト入力) を比較した。
エージェント推論は、最も複雑な質問と最長の記録に集中して、共有天井を超える唯一のアプローチであった。
論文 参考訳（メタデータ） (2026-04-27T13:41:18Z) - Benchmarking Multi-turn Medical Diagnosis: Hold, Lure, and Self-Correction [72.89352076103889]
大規模言語モデル (LLM) は, 臨床情報がすべて一ターンで提供される場合に, 高い精度で診断を行う。
1,035例からなる高忠実多ターン診断ベンチマークであるMINTを導入する。
診断決定に大きな影響を及ぼす3つの永続的な行動パターンを明らかにする。
論文 参考訳（メタデータ） (2026-04-06T00:23:10Z) - Clinician input steers frontier AI models toward both accurate and harmful decisions [10.599240857217811]
8つのフロンティアモデルにまたがる21の言語モデル (LLM) を, 差分診断生成と次のステップ勧告に基づいて評価した。
専門的な文脈は、21モデル全体にわたる正しい最終診断の包含を著しく改善した。
GPT-4o 実験では, 臨床症状の明確な不確実性信号により, 対側的文脈での診断性能が向上した。
論文 参考訳（メタデータ） (2026-03-14T23:47:53Z) - ThReadMed-QA: A Multi-Turn Medical Dialogue Benchmark from Real Patient Questions [5.63130104359934]
ThReadMed-QAは、r/AskDocsから抽出された2,437人の患者を検索する会話スレッドのベンチマークである。
我々は,238の会話の階層化テスト分割に基づいて,最先端のLLMを5つ評価した。
最も強いモデルであるGPT-5でさえ41.2%の完全正解しか得られない。
論文 参考訳（メタデータ） (2026-03-11T20:17:57Z) - From Days to Minutes: An Autonomous AI Agent Achieves Reliable Clinical Triage in Remote Patient Monitoring [2.0918370570198763]
遠隔患者モニタリング(RPM)は膨大なデータを生成するが、データ量が臨床スタッフを圧倒したため、目覚ましい臨床試験(Tele-HF, BEAT-HF)は失敗した。
RPMバイタルのコンテキストトリアージにモデルコンテキストプロトコル(MCP)を用いた自律型AIエージェントSentinelを開発した。
論文 参考訳（メタデータ） (2026-03-10T00:50:54Z) - PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。
我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。
LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
論文 参考訳（メタデータ） (2026-03-02T00:50:39Z) - EchoBench: Benchmarking Sycophancy in Medical Large Vision-Language Models [82.43729208063468]
医療用LVLM(Large Vision-Language Models)の最近のベンチマークでは、信頼性と安全性を見越して、リーダボードの精度を強調している。
ユーザが提供した情報を非批判的に反響させる傾向のモデルについて検討する。
医療用LVLMの梅毒を系統的に評価するベンチマークであるEchoBenchを紹介する。
論文 参考訳（メタデータ） (2025-09-24T14:09:55Z) - MedOmni-45°: A Safety-Performance Benchmark for Reasoning-Oriented LLMs in Medicine [69.08855631283829]
我々は,操作的ヒント条件下での安全性能トレードオフの定量化を目的としたベンチマークであるMed Omni-45 Degreesを紹介する。
6つの専門分野にまたがる1,804の推論に焦点を当てた医療質問と3つのタスクタイプが含まれており、その中にはMedMCQAの500が含まれる。
結果は、モデルが対角線を超えることなく、一貫した安全性と性能のトレードオフを示す。
論文 参考訳（メタデータ） (2025-08-22T08:38:16Z) - MedHELM: Holistic Evaluation of Large Language Models for Medical Tasks [47.486705282473984]
大規模言語モデル(LLM)は、医学試験においてほぼ完璧なスコアを得る。
これらの評価は、実際の臨床実践の複雑さと多様性を不十分に反映している。
MedHELMは,医療業務におけるLCMの性能を評価するための評価フレームワークである。
論文 参考訳（メタデータ） (2025-05-26T22:55:49Z) - Multilabel 12-Lead Electrocardiogram Classification Using Gradient
Boosting Tree Ensemble [64.29529357862955]
我々は,心電図の診断を分類するために,形態や信号処理機能に適合した勾配強化木のアンサンブルを用いたアルゴリズムを構築した。
各リードについて、心拍変動、PQRSTテンプレート形状、全信号波形から特徴を導出する。
各クラスに属するECGインスタンスの確率を予測するため、全12項目の特徴と合わせて、勾配を増す決定ツリーの集合に適合する。
論文 参考訳（メタデータ） (2020-10-21T18:11:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。