論文の概要: EHR-RobustGym: Benchmarking and Training Agents for Robust Clinical Reasoning
- arxiv url: http://arxiv.org/abs/2609.39371v1
- Date: Wed, 30 Sep 2026 09:23:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.515523
- Title: EHR-RobustGym: Benchmarking and Training Agents for Robust Clinical Reasoning
- Title（参考訳）: EHR-RobustGym:ロバストな臨床推論のためのベンチマークおよびトレーニングエージェント
- Abstract要約: EHR-RobustGymは、ノイズの多いERHを基盤とした堅牢な臨床エージェントの評価と訓練を行うスケーラブルでインタラクティブな環境である。
EHR-RobustGymは、MIMIC-IV病院の記録(365K患者、31のテーブル、500万以上の記録)に基づいて構築され、6つの臨床目的と患者レベルおよび人口レベルの問合せにまたがる5,486のクリーンノイズ対で構成されている。
- 参考スコア（独自算出の注目度）: 31.177637438276733
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In hospital workflows, electronic health records (EHRs) are often noisy, and may not contain the evidence needed to confirm events or measurements referenced in a clinical query. Even when database retrieval succeeds, clinical agents can overlook such discrepancies and return plausible but unsupported answers. We introduce EHR-RobustGym, a scalable and interactive environment for evaluating and training robust clinical agents grounded in noisy EHRs. Built on MIMIC-IV hospital records (365K patients, 31 tables, and over 500M records), EHR-RobustGym comprises 5,486 Clean-Noise pairs spanning six clinical intents and both patient-level and population-level queries. The pairs test robustness to Record-level, Value-level, and Query-level noise, while interactive SQL/Python execution and outcome verification support trajectory collection and training. Evaluating multiple LLMs reveals substantial robustness gaps: average task success across proprietary and large-scale open-weight models drops from 62.2% on Clean questions to 37.9% on Noise questions. At k=4, pass^k consistency falls below 50% for most evaluated models, exposing instability in clinical task completion. Supervised fine-tuning and reinforcement learning in EHR-RobustGym improve performance, with gains generalizing to five external EHR benchmarks. Together, these results position EHR-RobustGym as a testbed for evaluating and improving the evidence-grounded robustness of clinical agents.
- Abstract（参考訳）: 病院のワークフローでは、電子健康記録(EHR)は騒々しく、臨床クエリで参照される事象や測定を確認するのに必要な証拠を含まない場合がある。
データベース検索が成功しても、臨床薬品はそのような不一致を見落とし、もっともらしい答えを返すことができる。
EHR-RobustGymは、ノイズの多いERHを基盤とした堅牢な臨床エージェントの評価と訓練を行うスケーラブルでインタラクティブな環境である。
EHR-RobustGymは、MIMIC-IVの病院記録(365K患者、31のテーブル、500M以上)に基づいて構築され、6つの臨床目的と患者レベルおよび人口レベルの問合せにまたがる5,486のクリーンノイズ対で構成されている。
ペアはレコードレベル、バリューレベル、クエリレベルのノイズに対して堅牢性をテストし、インタラクティブなSQL/Pythonの実行と結果検証はトラジェクトリの収集とトレーニングをサポートする。
プロプライエタリおよび大規模オープンウェイトモデルの平均タスク成功率は、クリーンな質問では62.2%からノイズに関する質問では37.9%に落ちている。
k=4では、ほとんどの評価モデルではパス^k一貫性が50%以下に低下し、臨床タスク完了の不安定性が明らかとなった。
EHR-RobustGymの微調整と強化学習が改良され、5つの外部EHRベンチマークが一般化された。
これらの結果から, EHR-RobustGymは, 臨床薬のエビデンス・グラウンドド・ロバスト性を評価するテストベッドとして位置づけられた。
関連論文リスト
- ResidencyRL: Reinforcement Learning in Simulated Clinical Environments [53.76751756107077]
臨床人工知能(AI)エージェントを模擬多ターン臨床で訓練するための強化学習(RL)手法であるResidencyRLを提案する。
ホールドアウト評価では、ResidencyRLエージェントは、対向条件下で診断精度を7.0%向上させる。
盲目の専門医はこれらの利得を検証し、訓練されたエージェントをサイドバイサイド比較の87.6%で好んだ。
論文 参考訳（メタデータ） (2026-08-07T17:04:41Z) - Tracing the Heart: An Evidence-Linked Pipeline for Heart-Failure Feature Engineering [18.09162983861884]
自動心不全機能工学のためのエビデンスリンク型ルーリックグラウンドパイプラインを開発した。
nMASは, 構造整合性, ルブリック適合性, 証明性を検証し, 制限されたLDMで検査した132個の構造と70個のルブリックの集合特性を作成した。
これらの結果は、複雑な心血管系ERHデータに対する自動監査機能工学の可能性を示している。
論文 参考訳（メタデータ） (2026-08-06T17:57:37Z) - EHR-Complex: Benchmarking Medical Agents for Complex Clinical Reasoning [43.24946590588933]
本稿では,インタラクティブな臨床データベース推論のための大規模ベンチマークであるEHR-Complexを紹介する。
大規模なMIMIC-IV基板(365K患者、31テーブル、500M+レコード)上に構築されたEHR-Complexは、6つの臨床目的にまたがる約52Kのタスクから構成される。
論文 参考訳（メタデータ） (2026-06-22T13:14:21Z) - AIPatient Arena: EHR-grounded evaluation of large language models in end-to-end clinical consultation workflows [7.354281305130301]
大規模言語モデル (LLM) は, 臨床相談業務での使用を想定している。
本稿では,ALMの臨床的有用性を評価するための評価フレームワークであるAIPatient Arenaを提案する。
論文 参考訳（メタデータ） (2026-06-16T03:35:17Z) - Evaluating Large Language Models in Dynamic Clinical Decision-Making with Standardized Patient Cases [71.12461204050985]
MedSP1000 (MedSP1000) は、SP由来の臨床エージェント評価のための対話型ベンチマークである。
ピアレビューされたSPの授業ケースを、定義されたSPケーススクリプト、臨床環境コンテキスト、人為的な構造化ルーブリックで実行可能なシナリオに変換する。
MedSP1000を多種多様な汎用および医療用LLMに適用すると、静的ベンチマークの性能がそのような教育シナリオに確実に変換されないことが分かる。
論文 参考訳（メタデータ） (2026-06-03T17:17:16Z) - EHRBench: An Automated and Reliable EHR-based Benchmark for Clinical Decision Making with LLMs [51.129595320595094]
臨床意思決定 (CDM) は、臨床医が診断を推測し、治療を選択し、不完全な証拠の下で将来の健康結果を予測する、現実的な臨床の中心である。
LLMモデルは、強力な言語能力、幅広い生物医学的知識、効率性のために、これらの決定をサポートするためにますます使われています。
LLMの実際の臨床決定タスクに対する信頼性は、まだ十分に理解されていない。
論文 参考訳（メタデータ） (2026-05-28T22:38:26Z) - A Randomized Controlled Trial and Pilot of Scout: an LLM-Based EHR Search and Synthesis Platform [1.3680778971360474]
我々は、臨床医が自然言語を用いてEHRデータをクエリできるEHR検索合成プラットフォームであるScoutを開発した。
スカウトはタスク完了時間を37.6%削減し、作業負荷を著しく削減した。
スカウトは、EHRのみで完了したタスクに対する正確さ、完全性、および関連性を維持した。
論文 参考訳（メタデータ） (2026-03-07T22:28:53Z) - ART: Action-based Reasoning Task Benchmarking for Medical AI Agents [0.0]
本稿では,医療AIエージェントのためのアクションベース推論臨床タスクベンチマークを紹介する。
検索エラー、集約エラー、条件論理の誤判断の3つの主要なエラーカテゴリを同定する。
我々の4段階パイプラインは、実際の患者データに基づいて、多種多様な臨床的に検証されたタスクを生成します。
論文 参考訳（メタデータ） (2026-01-13T21:26:11Z) - MedAlign: A Clinician-Generated Dataset for Instruction Following with
Electronic Medical Records [60.35217378132709]
大型言語モデル(LLM)は、人間レベルの流布で自然言語の指示に従うことができる。
医療のための現実的なテキスト生成タスクにおけるLCMの評価は依然として困難である。
我々は、EHRデータのための983の自然言語命令のベンチマークデータセットであるMedAlignを紹介する。
論文 参考訳（メタデータ） (2023-08-27T12:24:39Z) - COMPOSE: Cross-Modal Pseudo-Siamese Network for Patient Trial Matching [70.08786840301435]
本稿では, CrOss-Modal PseudO-SiamEse Network (COMPOSE) を提案する。
実験の結果,患者基準マッチングでは98.0%,患者基準マッチングでは83.7%の精度でAUCに到達できることがわかった。
論文 参考訳（メタデータ） (2020-06-15T21:01:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。