論文の概要: Exploring Scaling Laws for EHR Foundation Models

• arxiv url: http://arxiv.org/abs/2505.22964v1
• Date: Thu, 29 May 2025 01:05:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.600423
• Title: Exploring Scaling Laws for EHR Foundation Models
• Title（参考訳）: EHRファウンデーションモデルのためのスケーリング法則の探求
• Authors: Sheng Zhang, Qin Liu, Naoto Usuyama, Cliff Wong, Tristan Naumann, Hoifung Poon,
• Abstract要約: EHR基礎モデルのスケーリング法則に関する最初の実証的研究について述べる。 パラボリックなIsoFLOP曲線や計算,モデルパラメータ,データサイズ,臨床ユーティリティ間の電力-法則関係など,一貫したスケーリングパターンを同定する。
• 参考スコア（独自算出の注目度）: 17.84205864956449
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The emergence of scaling laws has profoundly shaped the development of large language models (LLMs), enabling predictable performance gains through systematic increases in model size, dataset volume, and compute. Yet, these principles remain largely unexplored in the context of electronic health records (EHRs) -- a rich, sequential, and globally abundant data source that differs structurally from natural language. In this work, we present the first empirical investigation of scaling laws for EHR foundation models. By training transformer architectures on patient timeline data from the MIMIC-IV database across varying model sizes and compute budgets, we identify consistent scaling patterns, including parabolic IsoFLOPs curves and power-law relationships between compute, model parameters, data size, and clinical utility. These findings demonstrate that EHR models exhibit scaling behavior analogous to LLMs, offering predictive insights into resource-efficient training strategies. Our results lay the groundwork for developing powerful EHR foundation models capable of transforming clinical prediction tasks and advancing personalized healthcare.
• Abstract（参考訳）: スケール法則の出現は、大規模言語モデル(LLM)の発展を著しく形作り、モデルサイズ、データセットボリューム、計算の体系的な増加による予測可能なパフォーマンス向上を可能にした。 しかし、これらの原則は電子健康記録(EHR)の文脈においてほとんど解明されていない ― リッチでシーケンシャルでグローバルに豊富なデータソースであり、自然言語とは構造的に異なる。 本研究では,EHR基礎モデルのスケーリング法則に関する実証的研究を行った。 MIMIC-IVデータベースの患者時系列データをモデルサイズや計算予算に応じてトレーニングすることにより、パラボリックなIsoFLOP曲線や計算、モデルパラメータ、データサイズ、臨床ユーティリティ間の電力-法則関係を含む一貫したスケーリングパターンを識別する。 これらの結果は,ERHモデルがLLMと類似したスケーリング挙動を示し,資源効率のトレーニング戦略に関する予測的洞察を提供することを示した。 本研究は、臨床予測タスクを変換し、パーソナライズされた医療を推進できる強力なEHR基盤モデルを構築するための基礎研究である。

関連論文リスト

• Scaling Laws for Emulation of Stellar Spectra [0.0]
  最適な性能を達成するために、トランスフォーマーベースのスペクトルエミュレータをスケーリングするためのトレーニングガイドラインを提供する。 この結果から,最適計算資源割り当てにはバランスの取れたスケーリングが必要であることが示唆された。 本研究は、拡張されたドメイン転送機能を持つスペクトル基底モデルを開発するための基盤を確立する。
  論文  参考訳（メタデータ） (2025-03-24T12:20:24Z)
• Large Language Models are Powerful Electronic Health Record Encoders [4.520903886487343]
  汎用大規模言語モデル(LLM)は、下流臨床予測タスクの表現にERHデータをエンコードするために用いられる。 LLMをベースとした埋め込みは、特殊EHRファンデーションモデルの性能にマッチしたり、超えたりできることを示す。 検査されたLSMモデルのうちの1つは、疾患発症、入院、死亡予測において優れた性能を達成する。
  論文  参考訳（メタデータ） (2025-02-24T18:30:36Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Scaling Laws Across Model Architectures: A Comparative Analysis of Dense and MoE Models in Large Language Models [34.79589443380606]
  大規模言語モデル(LLM)のスケーリングは、モデルトレーニングとデプロイメントの効率性と効率性にとって重要な研究領域である。 本研究は,Dense Models と MoE Model のスケーリング法則の伝達性と相違について検討する。
  論文  参考訳（メタデータ） (2024-10-08T03:21:56Z)
• Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
  EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。 時間間隔推定を組み込んだ拡散モデルである。 我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
  論文  参考訳（メタデータ） (2024-06-20T02:20:23Z)
• The Role of Model Architecture and Scale in Predicting Molecular Properties: Insights from Fine-Tuning RoBERTa, BART, and LLaMA [0.0]
  本研究では,各種ケミノフォマティクスタスクの微調整におけるLarge Language Models(LLMs)の有効性を比較するための体系的枠組みを提案する。 分子特性を予測するために,RoBERTa,BART,LLaMAの3つのモデルを評価した。 LLaMAベースのモデルは、一般的に最低限のバリデーション損失を提供しており、タスクやスケールの順応性が優れていることを示唆している。
  論文  参考訳（メタデータ） (2024-05-02T02:20:12Z)
• MedDiffusion: Boosting Health Risk Prediction via Diffusion-based Data Augmentation [58.93221876843639]
  本稿では,MedDiffusion という,エンドツーエンドの拡散に基づくリスク予測モデルを提案する。 トレーニング中に合成患者データを作成し、サンプルスペースを拡大することで、リスク予測性能を向上させる。 ステップワイズ・アテンション・メカニズムを用いて患者の来訪者間の隠れた関係を識別し、高品質なデータを生成する上で最も重要な情報をモデルが自動的に保持することを可能にする。
  論文  参考訳（メタデータ） (2023-10-04T01:36:30Z)
• A Solvable Model of Neural Scaling Laws [72.8349503901712]
  大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。 我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。 主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
  論文  参考訳（メタデータ） (2022-10-30T15:13:18Z)
• A multi-stage machine learning model on diagnosis of esophageal manometry [50.591267188664666]
  このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。 これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
  論文  参考訳（メタデータ） (2021-06-25T20:09:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。