論文の概要: One Loss to Rule Them All: Marked Time-to-Event for Structured EHR Foundation Models

• arxiv url: http://arxiv.org/abs/2602.00541v1
• Date: Sat, 31 Jan 2026 06:15:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.246622
• Title: One Loss to Rule Them All: Marked Time-to-Event for Structured EHR Foundation Models
• Title（参考訳）: ルールの喪失 - 構造化されたEHRファウンデーションモデルのためのマーク付きタイム・トゥ・イベント
• Authors: Zilin Jing, Vincent Jeanselme, Yuta Kobayashi, Simon A. Lee, Chao Pang, Aparajita Kashyap, Yanwei Li, Xinzhuo Jiang, Shalmali Joshi,
• Abstract要約: 我々はイベントのタイミングと関連する測定値を共同でモデル化する時間とイベントの事前学習対象であるORAを提案する。 EHR構造を考慮した事前学習は、下流の能力と一般化可能性の拡大に不可欠である。
• 参考スコア（独自算出の注目度）: 12.630229861635476
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Clinical events captured in Electronic Health Records (EHR) are irregularly sampled and may consist of a mixture of discrete events and numerical measurements, such as laboratory values or treatment dosages. The sequential nature of EHR, analogous to natural language, has motivated the use of next-token prediction to train prior EHR Foundation Models (FMs) over events. However, this training fails to capture the full structure of EHR. We propose ORA, a marked time-to-event pretraining objective that jointly models event timing and associated measurements. Across multiple datasets, downstream tasks, and model architectures, this objective consistently yields more generalizable representations than next-token prediction and pretraining losses that ignore continuous measurements. Importantly, the proposed objective yields improvements beyond traditional classification evaluation, including better regression and time-to-event prediction. Beyond introducing a new family of FMs, our results suggest a broader takeaway: pretraining objectives that account for EHR structure are critical for expanding downstream capabilities and generalizability
• Abstract（参考訳）: 電子健康記録(Electronic Health Records, EHR)に記録された臨床イベントは不規則にサンプリングされ、実験室の値や治療薬の量など、離散的な事象と数値的な測定の混合からなりうる。 EHRのシーケンシャルな性質は、自然言語に類似しており、イベントに対する事前のEM(EHR Foundation Models)のトレーニングに次から次へと予測を使用することを動機付けている。 しかし、この訓練はEHRの完全な構造を捉えられなかった。 我々は、イベントのタイミングと関連する測定値を共同でモデル化する、時間から時間までの事前学習目標であるORAを提案する。 複数のデータセット、下流タスク、モデルアーキテクチャにわたって、この目的は、連続測定を無視した次のトーケン予測や事前学習損失よりも、一貫して一般化可能な表現をもたらす。 重要な点として、提案した目的は、回帰性の向上や時間対イベント予測など、従来の分類評価以上の改善をもたらす。 EHR構造を考慮した事前訓練は、下流の能力と一般化可能性の拡大に不可欠である。

関連論文リスト

• Building the EHR Foundation Model via Next Event Prediction [5.378917071184147]
  Next Event Prediction(NEP)は、大規模言語モデルの時間的推論を強化するフレームワークである。 NEPは、疾患進行パターンと因果関係を明示的にモデル化する。 解析の結果,最先端の予測精度と臨床的に解釈可能な注意パターンの2つの利点が明らかになった。
  論文  参考訳（メタデータ） (2025-09-29T23:27:51Z)
• Foundation Models for Clinical Records at Health System Scale [40.88151645546234]
  次世代イベント予測を用いたシーケンシャルEHRデータのための新しい生成事前学習戦略を提案する。 本モデルは,患者の来訪履歴に基づいて,各種のトークン化臨床イベントを自己回帰的に生成することを学ぶ。
  論文  参考訳（メタデータ） (2025-07-01T08:52:33Z)
• Towards Data-Efficient Pretraining for Atomic Property Prediction [51.660835328611626]
  タスク関連データセットでの事前トレーニングは、大規模な事前トレーニングと一致するか、あるいは超える可能性があることを示す。 本稿では,コンピュータビジョンのFr'echet Inception Distanceにインスパイアされた,化学類似度指数(CSI)を紹介する。
  論文  参考訳（メタデータ） (2025-02-16T11:46:23Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Context Clues: Evaluating Long Context Models for Clinical Prediction Tasks on EHRs [20.08838976147805]
  本稿では,EHRデータモデリングにおける文脈長の影響を初めて体系的に評価する。 より長いコンテキストモデルによって予測性能が向上することがわかった。 しかし, 臨床応用においては, モデル性能だけでは不十分である。
  論文  参考訳（メタデータ） (2024-12-09T21:58:27Z)
• Evidential time-to-event prediction with calibrated uncertainty quantification [12.446406577462069]
  Time-to-event分析は、臨床予後と治療勧告に関する洞察を提供する。 本稿では,時間とイベントの予測に特化して設計された明らかな回帰モデルを提案する。 我々のモデルは正確かつ信頼性の高い性能を提供し、最先端の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-12T15:06:04Z)
• Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Towards Out-of-Distribution Sequential Event Prediction: A Causal Treatment [72.50906475214457]
  シーケンシャルなイベント予測の目標は、一連の歴史的なイベントに基づいて次のイベントを見積もることである。 実際には、次のイベント予測モデルは、一度に収集されたシーケンシャルなデータで訓練される。 文脈固有の表現を学習するための階層的な分岐構造を持つフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-24T07:54:13Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Improving Event Duration Prediction via Time-aware Pre-training [90.74988936678723]
  持続時間予測に有効な2つのモデルを提案する。 1つのモデルは、期間値が該当する範囲/単位を予測し(R−pred)、もう1つのモデルは正確な期間値E−predを予測する。 我々の最良のモデル -- E-pred は、以前の作業よりも大幅に優れ、R-pred よりも正確に持続時間情報をキャプチャします。
  論文  参考訳（メタデータ） (2020-11-05T01:52:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。