論文の概要: How Does Critical Batch Size Scale in Pre-training?
- arxiv url: http://arxiv.org/abs/2410.21676v2
- Date: Fri, 08 Nov 2024 19:04:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-12 14:06:26.840226
- Title: How Does Critical Batch Size Scale in Pre-training?
- Title（参考訳）: プレトレーニングにおけるクリティカルバッチサイズは?
- Authors: Hanlin Zhang, Depen Morwani, Nikhil Vyas, Jingfeng Wu, Difan Zou, Udaya Ghai, Dean Foster, Sham Kakade,
- Abstract要約: クリティカルバッチサイズ(CBS)は、データ並列化がリターンを減少させるしきい値である。
C4データセット上で,CBSと自動回帰言語モデルを事前学習する手法を提案する。
この結果から,CBSはモデルサイズではなく,データサイズでスケールすることが示唆された。
- 参考スコア（独自算出の注目度）: 23.284171845875985
- License:
- Abstract: Training large-scale models under given resources requires careful design of parallelism strategies. In particular, the efficiency notion of critical batch size (CBS), concerning the compromise between time and compute, marks the threshold beyond which greater data parallelism leads to diminishing returns. To operationalize it, we propose a measure of CBS and pre-train a series of auto-regressive language models, ranging from 85 million to 1.2 billion parameters, on the C4 dataset. Through extensive hyper-parameter sweeps and careful control of factors such as batch size, momentum, and learning rate along with its scheduling, we systematically investigate the impact of scale on CBS. Then we fit scaling laws with respect to model and data sizes to decouple their effects. Overall, our results demonstrate that CBS scales primarily with data size rather than model size, a finding we justify theoretically through the analysis of infinite-width limits of neural networks and infinite-dimensional least squares regression. Of independent interest, we highlight the importance of common hyper-parameter choices and strategies for studying large-scale pre-training beyond fixed training durations.
- Abstract（参考訳）: 与えられたリソースの下で大規模なモデルを訓練するには、並列性戦略を慎重に設計する必要がある。
特に、時間と計算の妥協に関する、クリティカルバッチサイズ(CBS)の効率性の概念は、データ並列性を大きくすることでリターンが低下する余地を示す。
そこで本研究では,C4 データセットを用いて,CBS による自動回帰言語モデルの事前学習を行う手法を提案する。
バッチサイズ,運動量,学習率などの要因を広範囲に網羅し,そのスケジューリングとともに,CBSにおけるスケールの影響を系統的に検討した。
次に、モデルとデータサイズに関するスケーリング法則を適合させて、それらの効果を分離します。
その結果、ニューラルネットワークの無限幅限界の解析と無限次元最小二乗回帰解析によって理論的に正当化されることがわかった。
独立した関心事としては、一般的なハイパーパラメータの選択の重要性と、一定のトレーニング期間を超えて大規模な事前学習を研究するための戦略を強調している。
関連論文リスト
- Unified Neural Network Scaling Laws and Scale-time Equivalence [10.918504301310753]
本稿では、モデルサイズ、トレーニング時間、データボリュームの3つの要因がどのように相互作用し、ディープニューラルネットワークの性能を決定するかという、新しい理論的特徴を示す。
まず、ニューラルネットワークのサイズを拡大し、トレーニング時間を比例的に増加させることで、理論的かつ経験的な等価性を確立する。
次に、スケール時間同値と二重降下の線形モデル解析を組み合わせ、統一された理論的スケーリング法則を得る。
論文 参考訳（メタデータ） (2024-09-09T16:45:26Z) - Efficient Training of Self-Supervised Speech Foundation Models on a
Compute Budget [57.807614181024114]
本稿では,限定的な計算予算の下で,自己教師付き学習(SSL)を用いて音声基礎モデルを効率的に訓練する方法を検討する。
モデルアーキテクチャ、モデルサイズ、データサイズなど、予算に影響を与えるSSLの重要な要因について検討する。
論文 参考訳（メタデータ） (2024-09-09T10:36:42Z) - A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Linked shrinkage to improve estimation of interaction effects in
regression models [0.0]
回帰モデルにおける双方向相互作用項によく適応する推定器を開発する。
我々は,選択戦略では難しい推論モデルの可能性を評価する。
私たちのモデルは、かなり大きなサンプルサイズであっても、ランダムな森林のような、より高度な機械学習者に対して非常に競争力があります。
論文 参考訳（メタデータ） (2023-09-25T10:03:39Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳（メタデータ） (2023-09-15T16:29:27Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - A Solvable Model of Neural Scaling Laws [72.8349503901712]
大量のパラメータを持つ大規模な言語モデルは、インターネットに近い数のトークンで訓練されると、ニューラルネットワークのスケーリング法則に従うことが実証的に示されている。
我々は,このニューラルスケーリング現象を捉える統計モデル(共同生成データモデルとランダム特徴モデル)を提案する。
主な発見は、自然データセットの統計に現れる電力法則が非線形ランダムな特徴写像によって拡張される方法である。
論文 参考訳（メタデータ） (2022-10-30T15:13:18Z) - Scaling Laws for Neural Language Models [14.472857826717613]
クロスエントロピー損失に対する言語モデル性能のスケーリング法則について検討する。
損失は、モデルサイズ、データセットサイズ、トレーニングに使用される計算量など、パワーローとしてスケールする。
論文 参考訳（メタデータ） (2020-01-23T03:59:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。