論文の概要: What Next-Event Accuracy Cannot See: Closed-Loop Evaluation of Emergency Department Trajectory Simulators
- arxiv url: http://arxiv.org/abs/2609.31635v1
- Date: Thu, 10 Sep 2026 16:15:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 14:33:32.019255
- Title: What Next-Event Accuracy Cannot See: Closed-Loop Evaluation of Emergency Department Trajectory Simulators
- Title(参考訳): 次回イベントの精度がわからないもの:緊急部署軌道シミュレータの閉ループ評価
- Abstract要約: 425,028 MIMIC-IV-EDによる故障モード評価のためのEDSim-Benchを開発した。
0.001未満の次点の精度にもかかわらず、3つのニューラルアーキテクチャはロールアウト時に非常に異なる振る舞いをした。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Clinical trajectory models are usually evaluated by next-event accuracy on observed histories. Simulation is different: models must condition on their own generated events, allowing errors to compound. Although this problem is well known in sequence modelling, it has not been systematically quantified for clinical trajectory simulators. We developed EDSim-Bench to evaluate this failure mode using 425,028 MIMIC-IV-ED stays, with external replication on MC-MED, and release the evaluation protocol and scoring code. Starting from held-out visit prefixes, models generate the remainder of each visit and are evaluated on termination, event composition, timing, conditional fidelity, and occupancy forecasting, with a train-only order-3 n-gram as a reference baseline. Despite next-event accuracies within 0.001, three neural architectures behaved very differently under rollout. Across seeds, one Transformer recipe ranged from 0.43 to 0.96 in termination score and from 4.2- to 137-fold the divergence of the n-gram; no prefix-trained neural model approached the n-gram on termination or event composition. Inference-time interventions improved termination but did not jointly recover composition and timing. Supervising every eligible sequence position rather than only the final prefix position was associated with one to two orders of magnitude lower divergence across Transformer, GRU, and LSTM models, with the pattern persisting under model scaling, temporal shift, and external-site evaluation. Nevertheless, even the best model generated visits approximately half as long as observed, and model rankings reversed on occupancy forecasting, a downstream quantity relevant to bed management. These results show that next-event accuracy is insufficient to evaluate clinical trajectory simulators and motivate closed-loop evaluation across seeds, rollout criteria, and downstream tasks.
- Abstract(参考訳): 臨床軌道モデルは通常、観察された履歴の次点精度で評価される。
モデルは独自の生成されたイベントを条件にしなければならないため、エラーが複雑になる。
この問題はシークエンスモデリングでよく知られているが、臨床軌道シミュレーターでは体系的に定量化されていない。
425,028 MIMIC-IV-EDをMC-MED上で外部複製し,評価プロトコルとスコアリングコードを用いて,この故障モードを評価するためのEDSim-Benchを開発した。
留置前の接頭辞から、各訪問の残りを生成し、列車のみのオーダー-3 n-gramを基準ベースラインとして、終点、イベント構成、タイミング、条件の忠実度、および占有率予測に基づいて評価する。
0.001未満の次点の精度にもかかわらず、3つのニューラルアーキテクチャはロールアウト時に非常に異なる振る舞いをした。
種子全体では、トランスフォーマーのレシピは0.43から0.96までで、n-gramの発散は4.2-から137倍であった。
推論時間の介入は終了を改善させたが、組成とタイミングは共同で回復しなかった。
最終接頭辞位置のみではなく、すべての許容シーケンス位置を監督することは、Transformer、GRU、LSTMモデル間での1~2桁のばらつきに関連付けられ、パターンはモデルスケーリング、時間シフト、外部サイト評価の下で持続する。
それでも、最高のモデルが生成した訪問は、観測した約半分の長さであり、モデルのランキングは、ベッド管理に関連する下流の量である占有率予測で逆転した。
これらの結果から, 臨床軌道シミュレータの評価には次点精度が不十分であり, 種子, ロールアウト基準, 下流タスクのクローズループ評価を動機付けることが示唆された。
関連論文リスト
- CARE: Experience-Guided Atomic Corrective Execution for Vision-Language-Action Policies [52.32735203969873]
VLA(Vision-Language-Action)ポリシーは、ロボット操作において強力なパフォーマンスを達成するが、実行が名目上の軌道から逸脱した後も不安定なままである。
本稿では,実行時に発生する障害から学習することで回復を改善するフレームワークであるCARE(Corrective Atomic Robotic Execution)を提案する。
論文 参考訳(メタデータ) (2026-09-21T05:14:34Z) - Do Time-Series Foundation Models Pay Off for Industrial Monitoring? A Cost-Aware Empirical Study [1.8419890068150178]
時系列基礎モデル(TSFM)は再利用可能な表現とゼロショット予測を約束する。
本研究は,3つの設定にまたがってプロトコルを考慮した経験的評価を示す。
論文 参考訳(メタデータ) (2026-08-24T08:30:06Z) - CT-HEG: A Bidirectional, Timestamp-Attributed Event Graph for ICU In-Hospital Mortality Prediction - An Architectural Ablation Study [0.23453441553817042]
Continuous-Time Heterogeneous EHR Graph (CT-HEG)は、各ICUを3つのノードタイプを持つ型付きタイムスタンプグラフとしてエンコードする。
MIMIC-IV v3.1で評価した4層ヘテロジニアスGATv2ConvネットワークであるCHIRP-NetとしてCT-HEGをインスタンス化する。
論文 参考訳(メタデータ) (2026-08-01T19:10:38Z) - CLSP-REQA: A Real-Time Quality-Aware Closed-Loop Seizure Prediction Framework with Mamba-BiLSTM and Confidence-Gated Intervention [9.946196838806838]
CLSP-REQA (リアルタイム脳波品質評価によるクローズドループシーズーア予測)
Real-time EEG Quality Assessment (REQA)モジュールは、Mamba-BiLSTMバックボーンと並行して動作する。
クローズドループニューロ刺激インタフェースと直接互換性のある構造付き4タプルを出力する。
論文 参考訳(メタデータ) (2026-05-21T16:44:40Z) - Training-inference input alignment outweighs framework choice in longitudinal retinal image prediction [3.0602131532925436]
近年の手法は, 生成複雑性の増大に向かっているが, この複雑さが要求される条件はいまだ不明である。
生成複雑性は予測可能なタスクの条件付き後続成分のエントロピーと一致し,全てのレシスタンスでトレーニング・推論入力アライメントが要求される。
我々は,この枠組みを5つの構成を対比して,立方体自己蛍光データセット上で検証した。
論文 参考訳(メタデータ) (2026-04-18T10:28:00Z) - Preconditioned Robust Neural Posterior Estimation for Misspecified Simulators [0.0]
我々は,不特定条件下でのプレコンディショニングについて検討し,前条件付き頑健な神経後部推定を提案する。
本研究は, 安定度の高いNPEと組み合わせたプレコンディショニングにより, 標準ベースライン法よりも安定性が向上し, 精度, キャリブレーション, 後部予測適合性が向上することが実証された。
論文 参考訳(メタデータ) (2026-02-20T05:32:35Z) - Agentic World Modeling for 6G: Near-Real-Time Generative State-Space Reasoning [70.56067503630486]
第6世代(6G)インテリジェンスは、流動的なトークン予測ではなく、想像と選択の能力を校正している、と我々は主張する。
We showed that WM-MS3M cuts mean absolute error (MAE) by 1.69% vs MS3M with 32% less parameters and similar latency, and achieve a 35-80% lower root mean squared error (RMSE) than attention/hybrid baselines with 2.3-4.1x faster inference。
論文 参考訳(メタデータ) (2025-11-04T17:22:22Z) - Revisiting Multivariate Time Series Forecasting with Missing Values [65.30332997607141]
現実の時系列では欠落値が一般的である。
現在のアプローチでは、計算モジュールを使用して、不足した値を補う、計算済みの予測フレームワークが開発されている。
このフレームワークは、致命的な問題を見落としている: 欠落した値に対して基礎的な真理は存在せず、予測精度を劣化させる可能性のあるエラーの影響を受けやすいようにしている。
本稿では,Information Bottleneck原則に基づく新しいフレームワークであるConsistency-Regularized Information Bottleneck(CRIB)を紹介する。
論文 参考訳(メタデータ) (2025-09-27T20:57:48Z) - Continuous time recurrent neural networks: overview and application to
forecasting blood glucose in the intensive care unit [56.801856519460465]
連続時間自己回帰リカレントニューラルネットワーク(Continuous Time Autoregressive Recurrent Neural Network, CTRNN)は、不規則な観測を考慮に入れたディープラーニングモデルである。
重篤なケア環境下での血糖値の確率予測へのこれらのモデルの適用を実証する。
論文 参考訳(メタデータ) (2023-04-14T09:39:06Z) - Uncovering the Missing Pattern: Unified Framework Towards Trajectory
Imputation and Prediction [60.60223171143206]
軌道予測は、観測されたシーケンスから実体運動や人間の行動を理解する上で重要な作業である。
現在の方法では、観測されたシーケンスが完了したと仮定し、欠落した値の可能性を無視する。
本稿では,グラフに基づく条件変動リカレントニューラルネットワーク (GC-VRNN) の統一フレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-28T14:27:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。