論文の概要: When is Warmstarting Effective for Scaling Language Models?

• arxiv url: http://arxiv.org/abs/2605.13405v1
• Date: Wed, 13 May 2026 12:00:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-14 23:30:28.028648
• Title: When is Warmstarting Effective for Scaling Language Models?
• Title（参考訳）: Warmstartingはいつ、言語モデルのスケーリングに有効か?
• Authors: Neeratyoy Mallik, Maciej Janowski, Johannes Hog, Herilalaina Rakotoarison, Josif Grabocka, Frank Hutter, Aaron Klein,
• Abstract要約: 本研究は,ベースモデルの初期成長後の性能を維持することが,最終段階の強靭な性能に必要ではないことを示す。 我々は、スクラッチからのトレーニングがより効率的である以上、成長係数$g$の上限を経験的に特定する。
• 参考スコア（独自算出の注目度）: 48.713404953553976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Model growth from a given checkpoint aims to accelerate training of a larger model, offering potential resource savings. Despite recent interest, warmstarting has seen limited practical adoption in large-scale training. We attribute this to two underexplored factors: (1) an overemphasis on preserving the smaller model's performance at initialization, which constrains operator design for new architectures, and (2) insufficient analysis of how growth interacts with hyperparameters and scaling behavior, compounded by inconsistent growth factors across the literature. We show that preserving the base model's initial post-growth performance is not necessary for strong final performance, and that simple, architecture-agnostic growth strategies can outperform more complex warmstarting operators. Crucially, we empirically identify an upper bound on the growth factor $g$ beyond which training from scratch is more efficient. We observe this across multiple ablation setups. Notably, this limit is also present, but unreported, in prior published results. Across our experiments on dense MLPs and dense language models, we find that a $2\times$ growth factor is the most reliable in yielding convergence speedups, with gains most pronounced under 20 tokens/parameter budgets and diminishing as budget increases. We fit scaling laws over these observations to provide predictive guidance for practitioners deciding when and how much to grow. Together, our analysis provides practical guidelines and empirical limits for model growth.
• Abstract（参考訳）: 与えられたチェックポイントからのモデルの成長は、より大きなモデルのトレーニングを加速することを目的としており、潜在的なリソース節約を提供する。 近年の関心にもかかわらず、ウォームスタートは大規模な訓練に限定的に採用されている。 本稿は,(1)新しいアーキテクチャのオペレータ設計を制約する初期化時に,より小さなモデルの性能を保った上での過度な評価,(2)ハイパーパラメータとどのように相互作用するか,およびスケーリングの振る舞いについて,文献間で矛盾する成長要因が混在する,不十分な分析を行う。 本研究は, ベースモデルの初期成長後の性能を維持することは, 強力な最終性能には必要はなく, 単純でアーキテクチャに依存しない成長戦略は, より複雑なウォームスタート演算子よりも優れていることを示す。 致命的に、スクラッチからのトレーニングがより効率的であるような成長係数$g$の上限を経験的に特定する。 複数のアブレーション設定でこれを観察する。 特に、この制限は以前に公表された結果にも存在するが、報告されていない。 密集型MLPと密集型言語モデルに関する実験で、20ドル以上の成長係数が最も信頼でき、20トークン/パラメータの予算で最も高い利得が得られ、予算が増加するにつれて減少することがわかった。 これらの観察にスケール法則を適合させて、いつ、どのくらい成長するかを決める実践者に対して予測的なガイダンスを提供します。 そこで本研究では,モデル成長の実践的ガイドラインと実証的限界について検討する。

関連論文リスト

• Scaling Laws of Global Weather Models [57.27583619011988]
  本稿では,モデル性能(検証損失)とモデルサイズ,データセットサイズ,計算予算の3つの主要な要因について検討する。 様々なモデルにおいて、Auroraは最も強力なデータスケーリングの挙動を示す。 我々の計算-最適分析は、固定された計算予算の下で、長いトレーニング期間にリソースを割り当てると、モデルサイズの増加よりもパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2026-02-26T12:57:38Z)
• Recycling Pretrained Checkpoints: Orthogonal Growth of Mixture-of-Experts for Efficient Large Language Model Pre-Training [70.60554423630803]
  パラメータ数を拡大し,継続訓練を行うことで,事前学習したチェックポイントを再利用することを提案する。 70Bパラメータと1T以上のトレーニングトークンを持つモデルにアプローチを拡大し、スクラッチからトレーニングよりも10.66%の精度向上を実現しています。
  論文  参考訳（メタデータ） (2025-10-09T09:45:45Z)
• Scaling over Scaling: Exploring Test-Time Scaling Plateau in Large Reasoning Models [7.2703757624760526]
  大規模推論モデル(LRM)は、内部テストタイムスケーリングによる推論性能の向上能力を示した。 これらのスケーリング境界を推し進めるにつれて、現実的な限界を理解し、最適なリソース割り当てを達成することが重要な課題となります。 本稿では,テストタイムスケーリングのスケーリングプレートを調査し,TTSPM(Test-Time Scaling Performance Model)を導入する。
  論文  参考訳（メタデータ） (2025-05-26T20:58:45Z)
• Landscape-Aware Growing: The Power of a Little LAG [49.897766925371485]
  成長戦略のプールから最適な成長戦略をどのように選択するかという課題について検討する。 ランドスケープ・アウェア・グロース(LAG)と呼ぶ早期学習力学に基づく代替視点を提案する。
  論文  参考訳（メタデータ） (2024-06-04T16:38:57Z)
• PanGu-$\pi$: Enhancing Language Model Architectures via Nonlinearity Compensation [97.78045712375047]
  大規模言語モデル(LLM)のための新しい効率的なモデルアーキテクチャを提案する。 そこで,PanGu-$pi$-7Bは,約10%の推論速度を持つベンチマークに匹敵する性能が得られることを示す。 さらに,PanGu-$pi$-7Bを金融法と法律の高価値領域に導入し,実践的応用のためにYunShanというLLMを開発した。
  論文  参考訳（メタデータ） (2023-12-27T11:49:24Z)
• Predicting Emergent Abilities with Infinite Resolution Evaluation [85.89911520190711]
  本稿では,デコードフェーズにおける大規模なサンプリングを通じて,理論的に無限の分解能を持つ評価戦略であるPassUntilを紹介する。 トレーニング開始前に0.05%の偏差でコード生成における2.4Bモデルの性能を予測する。 スケーリング曲線が標準スケーリング法則関数に適合できないような,高速化された出現の種を同定する。
  論文  参考訳（メタデータ） (2023-10-05T02:35:00Z)
• Masked Structural Growth for 2x Faster Language Model Pre-training [18.276784451675603]
  我々は、小さなトランスフォーマー構造から大きな構造へと徐々に成長することで、事前学習のスピードアップに重点を置いている。 成長スケジュールの観点では、個々の次元がスケジュールの効率に与える影響は、既存の作業によって過小評価される。 本稿では, (i) 可能なすべての次元を含む成長スケジュールと, (ii) 厳密な機能保存型成長演算子を含む, マスケッド構造成長(MSG)を提案する。
  論文  参考訳（メタデータ） (2023-05-04T14:28:39Z)
• On the Transformer Growth for Progressive BERT Training [37.57617077192438]
  ネットワークアーキテクチャ検索と同様、Transformerの成長も複合スケーリングを好んでいる。 提案手法では, ベースモデルと大型モデルでそれぞれ73.6%, 82.2%の事前学習を高速化する。
  論文  参考訳（メタデータ） (2020-10-23T17:44:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。