論文の概要: AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies

• arxiv url: http://arxiv.org/abs/2408.06567v1
• Date: Tue, 13 Aug 2024 02:07:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-14 18:56:02.669659
• Title: AquilaMoE: Efficient Training for MoE Models with Scale-Up and Scale-Out Strategies
• Title（参考訳）: AquilaMoE: スケールアップとスケールアウト戦略を備えたMoEモデルの効率的なトレーニング
• Authors: Bo-Wen Zhang, Liangdong Wang, Ye Yuan, Jijie Li, Shuhao Gu, Mengdi Zhao, Xinya Wu, Guang Liu, Chengwei Wu, Hanyu Zhao, Li Du, Yiming Ju, Quanyue Ma, Yulong Ao, Yingli Zhao, Songhe Zhu, Zhou Cao, Dong Liang, Yonghua Lin, Ming Zhang, Shunfei Wang, Yanxin Zhou, Min Ye, Xuekai Chen, Xinyang Yu, Xiangjun Huang, Jian Yang,
• Abstract要約: AquilaMoEは最先端のバイリンガル8*16BMixture of Experts (MoE)言語モデルで、それぞれ16億のパラメータを持つ8人のエキスパートが参加する。 このアプローチは、2段階のプロセスを通じてデータ要求を最小限にしながら、パフォーマンスを最適化する。 我々は16Bモデルと8*16B AquilaMoEモデルの訓練に成功した。
• 参考スコア（独自算出の注目度）: 36.645912291368546
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In recent years, with the rapid application of large language models across various fields, the scale of these models has gradually increased, and the resources required for their pre-training have grown exponentially. Training an LLM from scratch will cost a lot of computation resources while scaling up from a smaller model is a more efficient approach and has thus attracted significant attention. In this paper, we present AquilaMoE, a cutting-edge bilingual 8*16B Mixture of Experts (MoE) language model that has 8 experts with 16 billion parameters each and is developed using an innovative training methodology called EfficientScale. This approach optimizes performance while minimizing data requirements through a two-stage process. The first stage, termed Scale-Up, initializes the larger model with weights from a pre-trained smaller model, enabling substantial knowledge transfer and continuous pretraining with significantly less data. The second stage, Scale-Out, uses a pre-trained dense model to initialize the MoE experts, further enhancing knowledge transfer and performance. Extensive validation experiments on 1.8B and 7B models compared various initialization schemes, achieving models that maintain and reduce loss during continuous pretraining. Utilizing the optimal scheme, we successfully trained a 16B model and subsequently the 8*16B AquilaMoE model, demonstrating significant improvements in performance and training efficiency.
• Abstract（参考訳）: 近年,様々な分野にわたる大規模言語モデルの急速な適用により,これらのモデルの規模は徐々に増加し,事前学習に必要な資源は指数関数的に増大している。 LLMをスクラッチからトレーニングするには多くの計算リソースが必要になりますが、小さなモデルからのスケールアップはより効率的なアプローチです。 本稿では,16億のパラメータを持つ8人のエキスパートを対象とする,最先端のバイリンガル8*16B混合言語モデルであるAquilaMoEについて述べる。 このアプローチは、2段階のプロセスを通じてデータ要求を最小限にしながら、パフォーマンスを最適化する。 第1段階はスケールアップ(Scale-Up)と呼ばれ、事前訓練されたより小さなモデルから重み付きより大きなモデルを初期化し、相当量の知識伝達と、はるかに少ないデータで連続的な事前訓練を可能にする。 第2ステージであるScale-Outは、トレーニング済みの密集モデルを使用して、MoEの専門家を初期化し、知識の伝達とパフォーマンスをさらに向上させる。 1.8B と 7B のモデルに対する大規模な検証実験は、様々な初期化スキームを比較し、継続事前訓練における損失の維持と低減を図った。 最適なスキームを用いて、16Bモデルと8*16B AquilaMoEモデルを訓練し、性能と訓練効率を大幅に改善した。

関連論文リスト

• Compact Language Models via Pruning and Knowledge Distillation [61.56557874432008]
  ミニトロンモデルでは、スクラッチからのトレーニングに比べてMMLUスコアが最大16%改善している。 すでにトレーニング済みの15Bモデルから8Bと4Bモデルを抽出するには、スクラッチからトレーニングするよりも、モデル毎のトレーニングトークンを最大40倍少なくする必要があります。
  論文  参考訳（メタデータ） (2024-07-19T21:47:57Z)
• A Teacher Is Worth A Million Instructions [4.322454918650575]
  提案手法を用いた微調整Mistral 7Bと2x7Bは、7Bおよび13B以上のパラメータを持つ最先端言語モデルの性能を上回る。
  論文  参考訳（メタデータ） (2024-06-27T11:48:25Z)
• An Emulator for Fine-Tuning Large Language Models using Small Language Models [91.02498576056057]
  本研究では,異なるスケールでの事前学習と微調整の結果を近似する分布から,エミュレート・ファインチューニング(EFT)を原理的かつ実用的なサンプリング法として導入する。 EFTは、追加トレーニングを伴わずに、有益性や無害性といった競合する行動特性をテスト時間で調整できることを示す。 最後に、LMアップスケーリングと呼ばれるエミュレートされたファインチューニングの特殊な場合において、小さなファインチューニングモデルと組み合わせることで、大きな事前学習モデルのリソース集約的なファインチューニングを回避する。
  論文  参考訳（メタデータ） (2023-10-19T17:57:16Z)
• Reusing Pretrained Models by Multi-linear Operators for Efficient Training [65.64075958382034]
  大規模なモデルをスクラッチからトレーニングすることは、通常、かなりの量のリソースを必要とする。 bert2BERT や LiGO といった最近の研究は、大規模なモデルを初期化するために、小さな事前訓練されたモデルを再利用している。 本稿では,対象モデルの各重みを事前学習モデルの全重みに線形に相関させる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-16T06:16:47Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• bert2BERT: Towards Reusable Pretrained Language Models [51.078081486422896]
  本稿では,既存のより小さな事前学習モデルの知識を大規模モデルに効果的に伝達できるbert2BERTを提案する。 bert2BERTは、ほぼ半分の大きさのモデルを再利用することで、BERT_BASEとGPT_BASEの事前トレーニングに約45%と47%の計算コストを節約する。
  論文  参考訳（メタデータ） (2021-10-14T04:05:25Z)
• Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
  我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。 また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-09-22T00:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。