論文の概要: Foundation Models for Clinical Records at Health System Scale

• arxiv url: http://arxiv.org/abs/2507.00574v1
• Date: Tue, 01 Jul 2025 08:52:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.544456
• Title: Foundation Models for Clinical Records at Health System Scale
• Title（参考訳）: 医療システムスケールにおける臨床記録の基礎モデル
• Authors: Haresh Rengaraj Rajamohan, Xiang Gao, Weicheng Zhu, Shih-Lun Huang, Long Chen, Kyunghyun Cho, Cem M. Deniz, Narges Razavian,
• Abstract要約: 次世代イベント予測を用いたシーケンシャルEHRデータのための新しい生成事前学習戦略を提案する。 本モデルは,患者の来訪履歴に基づいて,各種のトークン化臨床イベントを自己回帰的に生成することを学ぶ。
• 参考スコア（独自算出の注目度）: 40.88151645546234
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large-scale pretraining has transformed modeling of language and other data types, but its potential remains underexplored in healthcare with structured electronic health records (EHRs). We present a novel generative pretraining strategy for sequential EHR data using next-visit event prediction. Our model learns to autoregressively generate various tokenized clinical events for the next visit based on patient history and inherently handles the joint prediction of heterogeneous data types. Additionally, we introduce regularization on predicting repeated events and highlight a key pitfall in EHR-based foundation model evaluations: repeated event tokens can inflate performance metrics when new onsets are not distinguished from subsequent occurrences. Our model is evaluated via zero-shot prediction for forecasting dementia and knee osteoarthritis incidence within 2 and 5 years, and the model performance rivals a fully fine-tuned masked pretrained Transformer baseline, demonstrating that our approach captures complex clinical dependencies without requiring costly task-specific fine-tuning.
• Abstract（参考訳）: 大規模プレトレーニングは、言語やその他のデータ型のモデリングに変化をもたらしたが、そのポテンシャルは、構造化された電子健康記録(EHR)を持つ医療分野で過小評価されている。 次世代イベント予測を用いたシーケンシャルEHRデータのための新しい生成事前学習戦略を提案する。 本モデルでは,患者の来訪履歴に基づいて各種のトークン化臨床イベントを自動回帰的に生成し,異種データ型の共同予測を本質的に処理する。 さらに、繰り返しイベントの予測の正規化を導入し、EHRベースのファンデーションモデル評価において重要な落とし穴を浮き彫りにする。 本モデルは2～5年以内に認知症および膝関節症の発症を予測するためのゼロショット予測により評価され, モデル性能は, タスク特異的な微調整を必要とせず, 複雑な臨床依存関係を捉えることを実証した。

関連論文リスト

• Zero-shot Medical Event Prediction Using a Generative Pre-trained Transformer on Electronic Health Records [8.575985305475355]
  EHRで訓練された基礎モデルはゼロショット方式で予測タスクを実行できることを示す。 広範囲なラベル付きデータを必要とする教師付きアプローチとは違って,本手法では,事前学習した知識から,次の医療イベントを純粋に予測することができる。
  論文  参考訳（メタデータ） (2025-03-07T19:26:47Z)
• Recent Advances in Predictive Modeling with Electronic Health Records [71.19967863320647]
  EHRデータを予測モデリングに利用すると、その特徴からいくつかの課題が生じる。 深層学習は、医療を含む様々な応用においてその優位性を示している。
  論文  参考訳（メタデータ） (2024-02-02T00:31:01Z)
• IGNITE: Individualized GeNeration of Imputations in Time-series Electronic health records [6.630372114304835]
  本研究では、患者動態を学習し、個人の人口動態の特徴や治療に合わせたパーソナライズされた値を生成する新しいディープラーニングモデルを提案する。 提案モデルであるIGNITEは,2段階の注意を付加した条件付き2変分オートエンコーダを用いて,個人に対して欠落した値を生成する。 IGNITEは,データ再構成の欠如やタスク予測において,最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-09T07:57:21Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• SANSformers: Self-Supervised Forecasting in Electronic Health Records with Attention-Free Models [48.07469930813923]
  本研究は,医療施設への患者訪問数を予測することにより,医療サービスの需要を予測することを目的とする。 SNSformerは、特定の帰納バイアスを設計し、EHRデータの特異な特徴を考慮に入れた、注意のない逐次モデルである。 本研究は, 各種患者集団を対象とした医療利用予測の修正における, 注意力のないモデルと自己指導型事前訓練の有望な可能性について考察した。
  論文  参考訳（メタデータ） (2021-08-31T08:23:56Z)
• Pre-training transformer-based framework on large-scale pediatric claims data for downstream population-specific tasks [3.1580072841682734]
  本研究は、小児科のクレームデータセット全体をトレーニングする一般的な事前学習モデルであるClaim Pre-Training(Claim-PT)フレームワークを提案する。 効果的な知識伝達はタスク対応微調整段階を通じて完了する。 我々は100万人以上の患者記録を持つ実世界のクレームデータセットの実験を行った。
  論文  参考訳（メタデータ） (2021-06-24T15:25:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。