論文の概要: Deep Progressive Training: scaling up depth capacity of zero/one-layer models

• arxiv url: http://arxiv.org/abs/2511.04981v1
• Date: Fri, 07 Nov 2025 04:56:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-10 21:00:44.67826
• Title: Deep Progressive Training: scaling up depth capacity of zero/one-layer models
• Title（参考訳）: ディープ・プログレッシブ・トレーニング:ゼロ/1層モデルのディープ・キャパシティをスケールアップする
• Authors: Zhiqi Bu,
• Abstract要約: 最適化理論のレンズによる大型モデルの深度展開について検討する。 計算と損失の最適トレードオフのためのゼロ/1層プログレッシブトレーニングを提案する。
• 参考スコア（独自算出の注目度）: 19.649807308477527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Model depth is a double-edged sword in deep learning: deeper models achieve higher accuracy but require higher computational cost. To efficiently train models at scale, an effective strategy is the progressive training, which scales up model capacity during training, hence significantly reducing computation with little to none performance degradation. In this work, we study the depth expansion of large models through the lens of optimization theory and feature learning, offering insights on the initialization of new layers, hyperparameter transfer, learning rate schedule, and timing of model expansion. Specifically, we propose zero/one-layer progressive training for the optimal tradeoff between computation and loss. For example, zero/one-layer progressive training on GPT2 can save $\approx 80\%$ compute, or equivalently accelerate $\approx 5\times$ while achieving almost the same loss, compared to to a fully trained 60-layer model with 7B parameters.
• Abstract（参考訳）: モデル深度は深層学習における二重刃の剣であり、より深いモデルは高い精度を達成するが、高い計算コストを必要とする。 大規模モデルを効率的にトレーニングするには、トレーニング中にモデルのキャパシティをスケールアップするプログレッシブトレーニングが効果的である。 本研究では,最適化理論と特徴学習のレンズを用いた大規模モデルの深度展開について検討し,新しい層の初期化,ハイパーパラメータ転送,学習速度スケジュール,モデル拡張のタイミングについて考察する。 具体的には、計算と損失の最適トレードオフのためのゼロ/1層プログレッシブトレーニングを提案する。 例えば、GPT2のゼロ/ワン層プログレッシブトレーニングでは、$\approx 80\%$計算を節約できるし、同等に$\approx 5\times$を加速できる。

関連論文リスト

• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• A Dynamical Model of Neural Scaling Laws [79.59705237659547]
  ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。 我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
  論文  参考訳（メタデータ） (2024-02-02T01:41:38Z)
• Navigating Scaling Laws: Compute Optimality in Adaptive Model Training [39.96209967632896]
  近年、ディープラーニングの最先端は、大量のデータに基づいて事前訓練された非常に大きなモデルによって支配されている。 適応的な'モデル、すなわちトレーニング中にその形状を変えることができるモデルを可能にすることで、最適性の概念を拡張します。
  論文  参考訳（メタデータ） (2023-11-06T16:20:28Z)
• RLx2: Training a Sparse Deep Reinforcement Learning Model from Scratch [23.104546205134103]
  深層強化学習(DRL)モデルの訓練は通常、高いコストを必要とする。 DRLモデルの圧縮は、トレーニングアクセラレーションとモデル展開に大きな可能性を秘めている。 我々は,「textbfRigged textbfReinforcement textbfLearning textbfLottery (RLx2) 」という,新しいスパースDRLトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-30T12:18:43Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Alternate Model Growth and Pruning for Efficient Training of Recommendation Systems [7.415129876303651]
  モデルプルーニングは、冗長なパラメータを取り除いてディープニューラルネットワークの計算オーバーヘッドを削減する効果的な手法である。 ビッグデータ処理の需要のため、現代のレコメンデーションシステムはモデルキャパシティにとってまだ渇望的です。 トレーニング中の重量を代替して構築し、調整するためのダイナミックなトレーニングスキーム、すなわち、モデルの成長と刈り取りを提案します。
  論文  参考訳（メタデータ） (2021-05-04T03:14:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。