論文の概要: Context Clues: Evaluating Long Context Models for Clinical Prediction Tasks on EHRs

• arxiv url: http://arxiv.org/abs/2412.16178v1
• Date: Mon, 09 Dec 2024 21:58:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-29 08:29:32.218493
• Title: Context Clues: Evaluating Long Context Models for Clinical Prediction Tasks on EHRs
• Title（参考訳）: コンテキストクルーズ:EHRにおける臨床予測課題に対する長期コンテキストモデルの評価
• Authors: Michael Wornow, Suhana Bedi, Miguel Angel Fuentes Hernandez, Ethan Steinberg, Jason Alan Fries, Christopher Ré, Sanmi Koyejo, Nigam H. Shah,
• Abstract要約: 本稿では,EHRデータモデリングにおける文脈長の影響を初めて体系的に評価する。 より長いコンテキストモデルによって予測性能が向上することがわかった。 しかし, 臨床応用においては, モデル性能だけでは不十分である。
• 参考スコア（独自算出の注目度）: 41.51401858441586
• License:
• Abstract: Foundation Models (FMs) trained on Electronic Health Records (EHRs) have achieved state-of-the-art results on numerous clinical prediction tasks. However, most existing EHR FMs have context windows of <1k tokens. This prevents them from modeling full patient EHRs which can exceed 10k's of events. Recent advancements in subquadratic long-context architectures (e.g., Mamba) offer a promising solution. However, their application to EHR data has not been well-studied. We address this gap by presenting the first systematic evaluation of the effect of context length on modeling EHR data. We find that longer context models improve predictive performance -- our Mamba-based model surpasses the prior state-of-the-art on 9/14 tasks on the EHRSHOT prediction benchmark. For clinical applications, however, model performance alone is insufficient -- robustness to the unique properties of EHR is crucial. Thus, we also evaluate models across three previously underexplored properties of EHR data: (1) the prevalence of "copy-forwarded" diagnoses which creates artificial repetition of tokens within EHR sequences; (2) the irregular time intervals between EHR events which can lead to a wide range of timespans within a context window; and (3) the natural increase in disease complexity over time which makes later tokens in the EHR harder to predict than earlier ones. Stratifying our EHRSHOT results, we find that higher levels of each property correlate negatively with model performance, but that longer context models are more robust to more extreme levels of these properties. Our work highlights the potential for using long-context architectures to model EHR data, and offers a case study for identifying new challenges in modeling sequential data motivated by domains outside of natural language. We release our models and code at: https://github.com/som-shahlab/long_context_clues
• Abstract（参考訳）: EHR(Electronic Health Records)でトレーニングされたファンデーションモデル(FM)は、数多くの臨床予測タスクにおいて最先端の結果を得た。 しかし、既存の EHR FM には <1k トークンのコンテキストウィンドウがある。 これにより、10kのイベントを超えるフル患者EMHのモデリングが不可能になる。 最近の4次長コンテキストアーキテクチャ(例:Mamba)の進歩は、有望なソリューションを提供する。 しかしながら、彼らのEHRデータへの適用は十分に研究されていない。 本研究では,EHRデータモデリングにおける文脈長の影響を初めて体系的に評価することにより,このギャップに対処する。 私たちのMambaベースのモデルは、EHRSHOT予測ベンチマークの9/14タスクにおいて、従来よりも長いコンテキストモデルで予測性能が向上していることに気付きました。 しかし, 臨床応用においては, モデル性能だけでは不十分であり, EHRの特異性に対する堅牢性は重要である。 そこで本研究では,1) EHR シーケンス内のトークンの人工的反復を生成する "copy-forwarded" 診断の頻度,2) EHR イベント間の不規則な時間間隔が,コンテキストウィンドウ内で広範囲のタイムパンにつながること,3) EHR における後続のトークンの予測が困難になる時間経過に伴う疾患の自然増加,の3つの特性のモデルを評価する。 EHRSHOTの結果をストラテライズすると、各プロパティの上位レベルはモデルのパフォーマンスと負に相関するが、より長いコンテキストモデルはこれらのプロパティの極端なレベルに対してより堅牢である。 我々の研究は、EHRデータモデリングに長期コンテキストアーキテクチャを用いる可能性を強調し、自然言語以外のドメインによって動機付けられたシーケンシャルデータモデリングにおける新たな課題を特定するためのケーススタディを提供する。 https://github.com/som-shahlab/long_context_clues.com/som_shahlab/long_context_clues

関連論文リスト

• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
  EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。 深層学習は、医療を含む様々な応用においてその優位性を示している。
  論文  参考訳（メタデータ） (2024-02-02T00:31:01Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• EHRSHOT: An EHR Benchmark for Few-Shot Evaluation of Foundation Models [6.506937003687058]
  スタンフォード大学の6,739人の患者の電子健康記録(EHRs)から構造化されたデータを含む新しいデータセット EHRSHOT を公表した。 第2に,257万症例のERHデータに基づいて事前訓練した141Mパラメータ臨床基盤モデルであるCLMBR-T-baseの重みを公表した。 第3に、15の臨床的予測タスクを定義し、サンプル効率やタスク適応などの利点に基づく基礎モデルの評価を可能にする。
  論文  参考訳（メタデータ） (2023-07-05T05:24:59Z)
• Synthesize High-dimensional Longitudinal Electronic Health Records via Hierarchical Autoregressive Language Model [40.473866438962034]
  合成電子健康記録は、機械学習(ML)モデリングと統計解析のための実際のEHRの代替として機能することができる。 階層型自己回帰言語mOdel(HALO)を提案する。
  論文  参考訳（メタデータ） (2023-04-04T23:53:34Z)
• Clinical Deterioration Prediction in Brazilian Hospitals Based on Artificial Neural Networks and Tree Decision Models [56.93322937189087]
  超強化ニューラルネットワーク(XBNet)は臨床劣化(CD)を予測するために用いられる XGBoostモデルはブラジルの病院のデータからCDを予測する最良の結果を得た。
  論文  参考訳（メタデータ） (2022-12-17T23:29:14Z)
• Generating Synthetic Mixed-type Longitudinal Electronic Health Records for Artificial Intelligent Applications [9.374416143268892]
  EHR-M-GAN (Generative Adversarial Network, GAN) は、EHRデータを合成する。 EHR-M-GANは,141,488名の患者を対象とし,3つの公用集中治療単位データベース上で検証した。
  論文  参考訳（メタデータ） (2021-12-22T17:17:34Z)
• Simple Recurrent Neural Networks is all we need for clinical events predictions using EHR data [22.81278657120305]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、EHRに基づく臨床イベント予測モデルのための一般的なアーキテクチャである。 心不全の発症リスクと入院早期入院のリスクの2つの予測課題を用いた。 GRUやLSTMなどの単純なゲート付きRNNモデルでは,ベイズ最適化を適切に調整した場合に,しばしば競合する結果が得られることがわかった。
  論文  参考訳（メタデータ） (2021-10-03T13:07:23Z)
• Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future [73.03458424369657]
  公衆衛生におけるリアルタイム予測では、データ収集は簡単で要求の多いタスクである。 過去の文献では「バックフィル」現象とそのモデル性能への影響についてはほとんど研究されていない。 我々は、与えられたモデルの予測をリアルタイムで洗練することを目的とした、新しい問題とニューラルネットワークフレームワークBack2Futureを定式化する。
  論文  参考訳（メタデータ） (2021-06-08T14:48:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。