Fugu-MT 論文翻訳(概要): Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training

論文の概要: Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training

arxiv url: http://arxiv.org/abs/2405.15319v1
Date: Fri, 24 May 2024 08:00:00 GMT
ステータス: 処理完了
システム内更新日: 2024-05-27 15:31:04.192878
Title: Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training
Title（参考訳）: トランスフォーマーを積み重ねる - 効率的なLLM事前トレーニングのためのモデル成長のクローズアップ
Authors: Wenyu Du, Tongxu Luo, Zihan Qiu, Zeyu Huang, Yikang Shen, Reynold Cheng, Yike Guo, Jie Fu,
Abstract要約: G_textstack$と呼ばれる深い積み重ね演算子は、トレーニングにおいて顕著な加速を示し、損失が減少し、全体的な性能が向上することを示した。たとえば、$textitO$2(未使用のスケーラビリティ)については、$G_textstack$はスケーラブルで、一貫してパフォーマンスが良いことを示す。さらに、$G_textstack$に対する成長タイミングと成長係数を決定するガイドラインを定式化することで、$textitO$3(経験的ガイドラインの欠如)に対処する。
参考スコア（独自算出の注目度）: 42.89066583603415
License: http://creativecommons.org/licenses/by/4.0/
Abstract: LLMs are computationally expensive to pre-train due to their large scale. Model growth emerges as a promising approach by leveraging smaller models to accelerate the training of larger ones. However, the viability of these model growth methods in efficient LLM pre-training remains underexplored. This work identifies three critical $\underline{\textit{O}}$bstacles: ($\textit{O}$1) lack of comprehensive evaluation, ($\textit{O}$2) untested viability for scaling, and ($\textit{O}$3) lack of empirical guidelines. To tackle $\textit{O}$1, we summarize existing approaches into four atomic growth operators and systematically evaluate them in a standardized LLM pre-training setting. Our findings reveal that a depthwise stacking operator, called $G_{\text{stack}}$, exhibits remarkable acceleration in training, leading to decreased loss and improved overall performance on eight standard NLP benchmarks compared to strong baselines. Motivated by these promising results, we conduct extensive experiments to delve deeper into $G_{\text{stack}}$ to address $\textit{O}$2 and $\textit{O}$3. For $\textit{O}$2 (untested scalability), our study shows that $G_{\text{stack}}$ is scalable and consistently performs well, with experiments up to 7B LLMs after growth and pre-training LLMs with 750B tokens. For example, compared to a conventionally trained 7B model using 300B tokens, our $G_{\text{stack}}$ model converges to the same loss with 194B tokens, resulting in a 54.6\% speedup. We further address $\textit{O}$3 (lack of empirical guidelines) by formalizing guidelines to determine growth timing and growth factor for $G_{\text{stack}}$, making it practical in general LLM pre-training. We also provide in-depth discussions and comprehensive ablation studies of $G_{\text{stack}}$. Our code and pre-trained model are available at $\href{https://llm-stacking.github.io/}{https://llm-stacking.github.io/}$.
Abstract（参考訳）: LLMは大規模であるため、事前訓練には計算コストがかかる。モデルの成長は、より大きなモデルのトレーニングを加速するために小さなモデルを活用することによって、有望なアプローチとして現れます。しかし,LLM事前学習におけるこれらのモデル成長法の有効性は未解明のままである。この研究は、3つの重要な$\underline{\textit{O}}$bstaclesを識別する:$\textit{O}$1) 包括的な評価の欠如、$\textit{O}$2) スケーリングのためのテストされていない生存性、$\textit{O}$3) 経験的ガイドラインの欠如。既存のアプローチを4つの原子成長演算子にまとめ、標準LLM事前学習環境で体系的に評価する。 G_{\text{stack}}$と呼ばれる深い積み重ね演算子は、トレーニングにおいて顕著な加速を示し、損失が減少し、8つの標準NLPベンチマークの全体的な性能は、強いベースラインと比較して改善した。これらの有望な結果に触発された私たちは、$G_{\text{stack}}$を深く掘り下げて、$\textit{O}$2と$\textit{O}$3に対処する広範な実験を行います。 G_{\text{stack}}$は、成長後の7B LLM、750Bトークンによる事前トレーニング後の7B LLMで、スケーラブルで一貫してパフォーマンスが向上していることを示す。例えば、従来の300Bトークンを使用した7Bモデルと比較して、G_{\text{stack}}$モデルは194Bトークンと同じ損失に収束し、54.6\%のスピードアップとなる。さらに、$\textit{O}$3(経験的ガイドラインの欠如)に対処し、$G_{\text{stack}}$の成長タイミングと成長要因を決定するガイドラインを定式化し、一般のLCM事前学習を実践する。我々はまた、$G_{\text{stack}}$の詳細な議論と包括的なアブレーション研究も提供する。私たちのコードと事前トレーニングされたモデルは、$\href{https://llm-stacking.github.io/}{https://llm-stacking.github.io/}$で利用可能です。

論文の概要: Stacking Your Transformers: A Closer Look at Model Growth for Efficient LLM Pre-Training

関連論文リスト