論文の概要: Pretraining Strategies and Scaling for ECG Foundation Models: A Systematic Study
- arxiv url: http://arxiv.org/abs/2605.12241v1
- Date: Tue, 12 May 2026 15:10:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:56.953147
- Title: Pretraining Strategies and Scaling for ECG Foundation Models: A Systematic Study
- Title（参考訳）: ECGファウンデーションモデルのための事前戦略とスケーリングの体系的研究
- Abstract要約: 本研究は心電図(ECG)データの基礎モデルに焦点をあてる。
本稿では,ECG基礎モデルに対する5つの異なるコントラスト的・非コントラスト的自己教師型学習目標を網羅した事前学習手法の総合評価を行う。
本研究は,データセットのサイズを事前学習することで,公開ソースから最大1100万の入力サンプルを抽出する手法である。
- 参考スコア（独自算出の注目度）: 1.8964402635820148
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Specialized foundation models are beginning to emerge in various medical subdomains, but pretraining methodologies and parametric scaling with the size of the pretraining dataset are rarely assessed systematically and in a like-for-like manner. This work focuses on foundation models for electrocardiography (ECG) data, one of the most widely captured physiological time series world-wide. We present a comprehensive assessment of pretraining methodologies, covering five different contrastive and non-contrastive self-supervised learning objectives for ECG foundation models, and investigate their scaling behavior with pretraining dataset sizes up to 11M input samples, exclusively from publicly available sources. Pretraining strategy has a meaningful and consistent impact on downstream performance, with contrastive predictive coding (slightly ahead of JEPA) yielding the most transferable representations across diverse clinical tasks. Scaling pretraining data continues to yield meaningful improvements up to 11M samples for most objectives. We also compare model architectures across all pretraining methodologies and find evidence for a clear superiority of structured state space models compared to transformers and CNN models. We hypothesize that the strong inductive biases of structured state space models, rather than pretraining scale alone, are the primary driver of effective ECG representation learning, with important implications for future foundation model development in this and potentially other physiological signal domains.
- Abstract（参考訳）: 専門的な基礎モデルが様々な医療サブドメインで登場し始めているが、事前学習データセットのサイズによる事前学習手法やパラメトリックスケーリングは、体系的にも似たような方法でも、ほとんど評価されない。
本研究は心電図(ECG)データの基礎モデルに焦点をあてる。
本稿では,ECGファンデーションモデルに対する5つの異なるコントラスト的・非コントラスト的自己教師型学習目標を包括的評価し,データセットサイズを1100万個の入力サンプルに限定して,そのスケーリング挙動について検討する。
事前トレーニング戦略は、下流のパフォーマンスに有意義で一貫した影響を持ち、対照的な予測コーディング(JEPAより少し先)は、さまざまな臨床タスクで最も伝達可能な表現を生み出します。
事前トレーニングデータのスケーリングは、ほとんどの目的に対して、1100万のサンプルに有意義な改善をもたらし続けている。
また,すべての事前学習手法のモデルアーキテクチャを比較し,トランスフォーマーやCNNモデルと比較して,構造化状態空間モデルの明確な優位性を示す。
我々は、構造化状態空間モデルの強い帰納バイアスは、スケールのみを事前学習するのではなく、効果的なECG表現学習の原動力であり、これや他の生理学的信号領域における将来の基礎モデルの発展に重要な意味を持つと仮定する。
関連論文リスト
- Towards Brain MRI Foundation Models for the Clinic: Findings from the FOMO25 Challenge [33.95846433611413]
我々はMICCAI 2025でFOMO25チャレンジを衛星イベントとして組織した。
参加者は,臨床ラベルから直接得られたデータに基づいて,大規模な事前学習データセットFOMO60Kを作成した。
16チームから19のファンデーションモデルが、標準化されたコンテナパイプラインを使用して評価された。
論文 参考訳（メタデータ） (2026-04-13T16:23:46Z) - Investigating the Impact of Histopathological Foundation Models on Regressive Prediction of Homologous Recombination Deficiency [52.50039435394964]
回帰に基づくタスクの基礎モデルを体系的に評価する。
我々は5つの最先端基礎モデルを用いて、スライド画像全体(WSI)からパッチレベルの特徴を抽出する。
乳房、子宮内膜、肺がんコホートにまたがるこれらの抽出された特徴に基づいて、連続したRDDスコアを予測するモデルが訓練されている。
論文 参考訳（メタデータ） (2026-01-29T14:06:50Z) - EEG Foundation Models: Progresses, Benchmarking, and Open Problems [10.447009984769819]
我々は、50の代表的なEEG基盤モデルをレビューし、その設計選択を統合された分類学的枠組みにまとめる。
9つのBCIパラダイムにまたがる13のEEGデータセットに対して、12のオープンソースファンデーションモデルと、競合するスペシャリストベースラインを評価します。
論文 参考訳（メタデータ） (2026-01-25T15:28:50Z) - Generalist vs Specialist Time Series Foundation Models: Investigating Potential Emergent Behaviors in Assessing Human Health Using PPG Signals [22.364607686570384]
ファンデーションモデルは、大量のデータに基づいて事前訓練された大規模な機械学習モデルである。
MOMENTのような最近の研究は、汎用時系列基礎モデルを複数のドメインのデータで訓練している。
本稿では,ジェネラリストモデルとスペシャリストモデルのパフォーマンスを比較するため,総合的なベンチマーク研究を行うことを目的とする。
論文 参考訳（メタデータ） (2025-10-16T03:13:04Z) - Exploring Scaling Laws for EHR Foundation Models [17.84205864956449]
EHR基礎モデルのスケーリング法則に関する最初の実証的研究について述べる。
パラボリックなIsoFLOP曲線や計算,モデルパラメータ,データサイズ,臨床ユーティリティ間の電力-法則関係など,一貫したスケーリングパターンを同定する。
論文 参考訳（メタデータ） (2025-05-29T01:05:11Z) - SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。
現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。
本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
論文 参考訳（メタデータ） (2025-01-16T18:59:46Z) - The Fine Line: Navigating Large Language Model Pretraining with Down-streaming Capability Analysis [27.310894780313618]
本稿では,様々な事前学習中間点におけるモデル能力の総合的な比較を行う。
特定のダウンストリームメトリクスが、異なるサイズのモデルにまたがる同様のトレーニングダイナミクスを示すことを確認します。
コアの発見に加えて、AmberとOpenLLaMAを再現し、中間チェックポイントをリリースしました。
論文 参考訳（メタデータ） (2024-04-01T16:00:01Z) - Impact of Noisy Supervision in Foundation Model Learning [91.56591923244943]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Scaling Representation Learning from Ubiquitous ECG with State-Space
Models [28.776392386988043]
我々は、ECG信号からの表現学習のための事前訓練された状態空間モデルであるtextbfWildECGを紹介する。
我々は,275,000個のECG記録を野生で収集し,下流のタスクで評価することで,このモデルを自己指導的に訓練する。
論文 参考訳（メタデータ） (2023-09-26T22:08:19Z) - Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
基礎モデルを用いた最先端UniDA手法の実証的研究を行った。
CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。
単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
論文 参考訳（メタデータ） (2023-05-18T16:28:29Z) - Pre-training via Denoising for Molecular Property Prediction [53.409242538744444]
本稿では,3次元分子構造の大規模データセットを平衡に利用した事前学習手法について述べる。
近年のノイズレギュラー化の進展に触発されて, 事前学習の目的は, 雑音の除去に基づくものである。
論文 参考訳（メタデータ） (2022-05-31T22:28:34Z) - A multi-stage machine learning model on diagnosis of esophageal
manometry [50.591267188664666]
このフレームワークには、飲み込みレベルにおけるディープラーニングモデルと、学習レベルにおける機能ベースの機械学習モデルが含まれている。
これは、生のマルチスワローデータからHRM研究のCC診断を自動的に予測する最初の人工知能モデルである。
論文 参考訳（メタデータ） (2021-06-25T20:09:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。