論文の概要: Sequence Composition in EHR Foundation Model Pretraining

• arxiv url: http://arxiv.org/abs/2610.16878v1
• Date: Mon, 12 Oct 2026 14:41:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 04:22:28.173944
• Title: Sequence Composition in EHR Foundation Model Pretraining
• Title（参考訳）: EHRファンデーションモデル事前学習におけるシーケンス構成
• Abstract要約: 我々は、典型的なプレトレーニング戦略が、プレトレーニングと下流臨床のミスアライメントを生み出すと論じている。 本稿では,患者軌跡が事前訓練シーケンスにどのように貢献するかを制御するための代替シーケンス合成法を提案する。 以上の結果から,事前トレーニング中にEHRデータの提示方法を変更するだけで,下流の性能が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 9.876319330801982
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive electronic health record (EHR) foundation models predict the next event token in patient trajectories: sequences of structured medical events. A typical pretraining strategy is to concatenate all trajectories into a global stream and sample token windows from it. This gives patients with longer sequences more training exposure and allows tokens to attend across patient boundaries. We argue that these choices create a misalignment between pretraining and downstream clinical tasks. To explore this, we investigate how the composition of pretraining sequences affects clinical prediction performance. Using the global-stream approach as a baseline, we propose alternative sequence composition methods that control how patient trajectories contribute to pretraining sequences. Across four MIMIC-IV v2.2 tasks, our best method improves macro AUROC, AUPRC, F1, and balanced accuracy, with relative gains of 9.3% in F1 and 2.7% in AUPRC under a fixed training recipe. We find that these gains generalize across four additional evaluation settings, including the INSPIRE and eICU-CRD datasets, with improvements in macro AUROC, AUPRC, and F1 score. Our results show that simply changing how EHR data are presented to the model during pretraining can improve downstream performance, without changing the model or collecting additional data.
• Abstract（参考訳）: 自己回帰的電子健康記録(EHR)基礎モデルは、患者の軌跡における次のイベントトークン:構造化された医療イベントのシーケンスを予測する。 典型的な事前訓練戦略は、すべてのトラジェクトリをグローバルストリームに結合し、そこからトークンウィンドウをサンプリングすることである。 これにより、より長いシーケンスの患者がより訓練を受けやすくなり、トークンが患者の境界を越えて参加できるようになる。 これらの選択は、プレトレーニングと下流臨床のミスアライメントをもたらすと我々は主張する。 そこで本研究では,プレトレーニングシーケンスの構成が臨床予測性能に与える影響について検討する。 そこで本研究では,患者軌跡が事前学習シーケンスにどのように貢献するかを制御するために,グローバルストリームアプローチをベースラインとして提案する。 4つのMIMIC-IV v2.2タスクにまたがって、AUROC, AUPRC, F1, and balanced accuracyの改善を行い、F1では9.3%、AUPRCでは2.7%の相対的なゲインを得た。 これらは,INSPIREとeICU-CRDデータセットを含む4つの評価設定にまたがって一般化され,マクロAUROC,AUPRC,F1スコアが改善された。 以上の結果から,事前学習中にモデルにEHRデータの提示方法を変更するだけで,モデルを変更したり追加データを収集したりすることなく,下流のパフォーマンスを向上できることが示唆された。

関連論文リスト

• Pretraining EHR Foundation Models with Patient-Aware Sampling [15.261305009306978]
  患者サンプリングは、患者間でのトレーニング信号の分散を制御できる事前訓練シーケンス構築法である。 制御可能な重み付けによる患者サンプリングにより,実世界のEHRデータの性能が向上することを示す。 これらの結果は,自己回帰的EHR基盤モデルにおいて,トレーニングと検証を重要かつ過小評価された設計選択とみなす。
  論文  参考訳（メタデータ） (2026-07-24T09:10:43Z)
• Cross-Representation Benchmarking in Time-Series Electronic Health Records for Clinical Outcome Prediction [44.23284500920266]
  このベンチマークは、2つの異なる臨床環境におけるデータキュレーションと評価を標準化する。 実験によると、イベントストリームモデルは、常に最強のパフォーマンスを提供する。 特徴選択戦略は臨床環境に適応する必要がある。
  論文  参考訳（メタデータ） (2025-10-10T09:03:47Z)
• Enhancing Training Data Attribution with Representational Optimization [57.61977909113113]
  トレーニングデータ属性法は、トレーニングデータがモデルの予測にどのように影響するかを測定することを目的としている。 本稿では,タスク固有表現とモデル整合表現をTDAで明示的に学習することで,このギャップを埋める表現ベースアプローチであるAirRepを提案する。 AirRepは、属性品質に合わせて調整されたトレーニング可能なエンコーダと、グループワイドの影響を正確に見積もるアテンションベースのプール機構の2つの重要なイノベーションを紹介している。
  論文  参考訳（メタデータ） (2025-05-24T05:17:53Z)
• Multimodal Pretraining of Medical Time Series and Notes [45.89025874396911]
  ディープラーニングモデルは、意味のあるパターンを抽出する際の約束を示すが、広範囲なラベル付きデータが必要である。 本稿では,臨床測定値とノートのアライメントに着目し,自己指導型事前学習を用いた新しいアプローチを提案する。 病院内での死亡予測や表現型化などの下流タスクでは、データのごく一部がラベル付けされた設定において、ベースラインよりも優れています。
  論文  参考訳（メタデータ） (2023-12-11T21:53:40Z)
• Density-Aware Personalized Training for Risk Prediction in Imbalanced Medical Data [89.79617468457393]
  不均衡率(クラス密度差)のトレーニングモデルは、最適以下の予測につながる可能性がある。 この不均衡問題に対するモデルトレーニングのためのフレームワークを提案する。 実世界の医療データセットにおけるモデルの性能向上を実証する。
  論文  参考訳（メタデータ） (2022-07-23T00:39:53Z)
• Unsupervised pre-training of graph transformers on patient population graphs [48.02011627390706]
  異種臨床データを扱うグラフ変換器を用いたネットワークを提案する。 自己教師型, 移動学習環境において, 事前学習方式の利点を示す。
  論文  参考訳（メタデータ） (2022-07-21T16:59:09Z)
• Unsupervised Pre-Training on Patient Population Graphs for Patient-Level Predictions [48.02011627390706]
  プレトレーニングは、コンピュータビジョン(CV)、自然言語処理(NLP)、医療画像など、機械学習のさまざまな分野で成功している。 本稿では,患者結果の予測のために,教師なし事前学習を異種マルチモーダルEHRデータに適用する。 提案手法は,人口レベルでのデータモデリングに有効であることがわかった。
  論文  参考訳（メタデータ） (2022-03-23T17:59:45Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。