論文の概要: How Do Electrocardiogram Models Scale?

• arxiv url: http://arxiv.org/abs/2605.17276v1
• Date: Sun, 17 May 2026 05:53:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-19 17:57:47.823464
• Title: How Do Electrocardiogram Models Scale?
• Title（参考訳）: 心電図モデルはどうスケールするか?
• Authors: Jiawei Li, Fabio Bonassi, Ming Jin, Stefan Gustafsson, Johan Sundström, Thomas B. Schön, Antônio H. Ribeiro,
• Abstract要約: 心電図領域における神経と損失-損失-損失スケーリング法則を系統的に検討した。 モデルアーキテクチャ(ResNet vs. Transformer)と事前学習パラダイム、すなわち教師付き学習(SL)と自己教師付き学習(SSL)の効果を分離する。 この結果から,効率的なECG基盤モデルへの道筋は,ブルートフォーススケーリングではなく,アーキテクチャとパラダイムの戦略的アライメントにあることが示唆された。
• 参考スコア（独自算出の注目度）: 19.332418587904375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While scaling laws have established a fundamental framework for foundation models in natural language processing, their applicability to electrocardiogram (ECG) models remains poorly characterized. Indeed, recent studies do not always yield consistent downstream gains as one increases the model size or pre-training dataset size of ECG models, leaving the exact roles of architectural inductive biases, pre-training paradigms, and expected improvements with size largely unanswered. In this work, we systematically investigate neural and loss-to-loss scaling laws within the ECG domain. By pre-training over $120$ models (ranging from $20$K to $200$M parameters) on the large-scale CODE dataset ($2.3$M records), we decouple the effects of model architecture (ResNet vs. Transformer) and pre-training paradigm, namely supervised learning (SL) versus self-supervised learning (SSL). We found that (i) SL models are data-bottlenecked in-distribution, whereas SSL models scale robustly across both model and data sizes; (ii) for out-of-distribution (OOD) generalization, ResNets are $1.3$ to $2.5$ times more parameter-efficient than Transformers, while SSL is up to $16$ times more data-efficient and achieves up to $7.6$ times higher transfer efficiency than SL on unseen clinical tasks; (iii) across the observed scales, ResNet-based models generally achieve the lowest OOD loss, with SSL dominating on unseen clinical tasks and self-supervised Transformers overtaking at very large model sizes. Our results suggest that the path to effective ECG foundation models lies in the strategic alignment of architecture and paradigm rather than brute-force scaling.
• Abstract（参考訳）: スケーリング法則は自然言語処理の基礎モデルの基礎的枠組みを確立してきたが、心電図(ECG)モデルの適用性は依然として不十分である。 実際、最近の研究では、ECGモデルのモデルサイズや事前学習データセットサイズが増加し、アーキテクチャ上の帰納的バイアス、事前学習パラダイム、サイズによる期待される改善といった正確な役割を残しているため、常に下流での利得が得られるとは限らない。 本研究では,ECG領域におけるニューラルおよびロス・ツー・ロスのスケーリング法則を系統的に検討する。 大規模なCODEデータセット(2.3$Mレコード)上で120ドル以上のモデル(20ドルから200ドルまで)を事前トレーニングすることにより、モデルアーキテクチャ(ResNet vs. Transformer)と事前トレーニングパラダイム、すなわち教師付き学習(SL)と自己教師付き学習(SSL)の効果を分離する。 私たちはそれを発見しました (i)SLモデルはデータ・ブートネック・イン・ディストリビューションであり、SSLモデルはモデルとデータサイズの両方にわたって堅牢にスケールする。 (ii)アウト・オブ・ディストリビューション(OOD)の一般化では、ResNetsはTransformersよりもパラメータ効率が1.3ドルから2.5ドル高い。 3) ResNet をベースとしたモデルでは,一般的に OOD の損失が最少であり,SSL は未確認の臨床的タスクに支配的であり,トランスフォーマーは極めて大きなモデルサイズを超越している。 この結果から,効率的なECG基盤モデルへの道筋は,ブルートフォーススケーリングではなく,アーキテクチャとパラダイムの戦略的アライメントにあることが示唆された。

関連論文リスト

• Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
  継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T09:58:48Z)
• Towards a Comprehensive Scaling Law of Mixture-of-Experts [54.117786590884776]
  本論文では,すべての重要な要因を考慮に入れた総合的かつ正確なMoEスケーリング法を提案する。 我々の結果は、$G$と$S$の最適設定が、モデルアーキテクチャとデータサイズの両方に依存しないことを示しています。 提案したMoEスケーリング法則は,将来のMoEモデル設計およびトレーニングを促進するための,正確かつ洞察に富んだガイダンスとして機能する可能性がある。
  論文  参考訳（メタデータ） (2025-09-28T06:35:34Z)
• SMPLest-X: Ultimate Scaling for Expressive Human Pose and Shape Estimation [81.36747103102459]
  表現的人間のポーズと形状推定(EHPS)は、身体、手、顔の動きを多数の応用で統合する。 現在の最先端の手法は、限定されたデータセット上で革新的なアーキテクチャ設計を訓練することに焦点を当てている。 本稿では,EHPSのスケールアップが一般基盤モデルのファミリに与える影響について検討する。
  論文  参考訳（メタデータ） (2025-01-16T18:59:46Z)
• Efficient Training of Self-Supervised Speech Foundation Models on a Compute Budget [53.882492597728195]
  本稿では,限定的な計算予算の下で,自己教師付き学習(SSL)を用いて音声基礎モデルを効率的に訓練する方法を検討する。 モデルアーキテクチャ、モデルサイズ、データサイズなど、予算に影響を与えるSSLの重要な要因について検討する。
  論文  参考訳（メタデータ） (2024-09-09T10:36:42Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)
• LEMON: Lossless model expansion [43.40389747029802]
  ディープニューラルネットワーク、特にトランスフォーマーのスケーリングは、その急増するパフォーマンスにとって重要なものだ。 私たちは、より小さいがトレーニング済みのモデルの重みを使ってスケールされたモデルを初期化するレシピである、textbfL$ossl$textbfE$ss $textbfMO$del Expansio$textbfN$ (LEMON)を提示します。 LEMONは,視覚変換器の計算コストを56.7%削減し,BERTの33.2%削減した。
  論文  参考訳（メタデータ） (2023-10-12T03:02:41Z)
• Sheared LLaMA: Accelerating Language Model Pre-training via Structured Pruning [52.29522018586365]
  我々は,事前訓練された大規模モデルからより小型のLCMを開発するための効果的な方法として構造化プルーニングについて検討した。 提案手法では,(1)階層,頭部,中間および隠蔽次元をエンド・ツー・エンドに除去することで,より大きなモデルを特定のターゲット形状にプルーニングするターゲット構造化プルーニングと,(2)各トレーニングバッチにおけるサンプルデータの構成を,異なるドメイン間での損失に基づいて動的に更新する動的バッチローディングという2つの重要な手法を用いる。
  論文  参考訳（メタデータ） (2023-10-10T15:13:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。