論文の概要: Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models

• arxiv url: http://arxiv.org/abs/2406.06563v1
• Date: Mon, 3 Jun 2024 03:58:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 00:11:14.444247
• Title: Skywork-MoE: A Deep Dive into Training Techniques for Mixture-of-Experts Language Models
• Title（参考訳）: Skywork-MoE:Mixture-of-Experts言語モデルのトレーニングテクニックを深く掘り下げる
• Authors: Tianwen Wei, Bo Zhu, Liang Zhao, Cheng Cheng, Biye Li, Weiwei Lü, Peng Cheng, Jianhao Zhang, Xiaoyu Zhang, Liang Zeng, Xiaokun Wang, Yutuan Ma, Rui Hu, Shuicheng Yan, Han Fang, Yahui Zhou,
• Abstract要約: 提案手法は,146億のパラメータと16名のエキスパートを伴い,高性能な多言語モデル(LLM)であるSkywork-MoEの開発において実現された訓練手法を紹介する。 これは、Skywork-13Bモデルの既存の密度の高いチェックポイントに基づいています。
• 参考スコア（独自算出の注目度）: 57.582219834039506
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this technical report, we introduce the training methodologies implemented in the development of Skywork-MoE, a high-performance mixture-of-experts (MoE) large language model (LLM) with 146 billion parameters and 16 experts. It is initialized from the pre-existing dense checkpoints of our Skywork-13B model. We explore the comparative effectiveness of upcycling versus training from scratch initializations. Our findings suggest that the choice between these two approaches should consider both the performance of the existing dense checkpoints and the MoE training budget. We highlight two innovative techniques: gating logit normalization, which improves expert diversification, and adaptive auxiliary loss coefficients, allowing for layer-specific adjustment of auxiliary loss coefficients. Our experimental results validate the effectiveness of these methods. Leveraging these techniques and insights, we trained our upcycled Skywork-MoE on a condensed subset of our SkyPile corpus. The evaluation results demonstrate that our model delivers strong performance across a wide range of benchmarks.
• Abstract（参考訳）: 本稿では,約1460億のパラメータと16人のエキスパートを対象とする,高性能な言語モデル (LLM) であるSkywork-MoEの開発に実装されたトレーニング手法を紹介する。 既存のSkywork-13Bモデルの高密度チェックポイントから初期化されています。 我々は,スクラッチ初期化によるアップサイクリングとトレーニングの比較効果について検討した。 以上の結果から,これらの2つのアプローチの選択は,既存の高密度チェックポイントの性能とMoEトレーニング予算の両方を考慮すべきであることが示唆された。 本稿では, 適応型補助損失係数, 適応型補助損失係数を改良し, 補助損失係数の層特異的な調整を可能にする2つの革新的な手法について述べる。 これらの手法の有効性を実験的に検証した。 これらの技術と洞察を活用して、SkyPileコーパスの凝縮したサブセットで、リサイクルされたSkywork-MoEをトレーニングしました。 評価結果は,本モデルが幅広いベンチマークで高い性能を示すことを示す。

関連論文リスト

• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
  私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。 パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。 セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-06T03:06:33Z)
• SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection [51.99159169107426]
  本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。 我々の調査は、モデル予測と基準基準を比較するための様々な戦略にまたがっている。 強力なパフォーマンス指標を示す3つの異なる方法を紹介します。
  論文  参考訳（メタデータ） (2024-04-09T09:03:44Z)
• Diversifying the Mixture-of-Experts Representation for Language Models with Orthogonal Optimizer [59.43462055143123]
  The Mixture of Experts (MoE)は、ディープラーニングにおいて非常に成功したテクニックとして登場した。 本研究では,MoEの専門家が多様性の専門化や欠如に失敗した同質表現問題に光を当てた。 我々は,各専門家が他の専門家に分散された部分空間への方向を更新するように促す訓練戦略を交互に提案する。
  論文  参考訳（メタデータ） (2023-10-15T07:20:28Z)
• Weighted Ensemble Self-Supervised Learning [67.24482854208783]
  組み立ては、モデルパフォーマンスを高めるための強力なテクニックであることが証明されている。 我々は,データ依存型重み付きクロスエントロピー損失を許容するフレームワークを開発した。 提案手法は、ImageNet-1K上での複数の評価指標において、両者に優れる。
  論文  参考訳（メタデータ） (2022-11-18T02:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。