論文の概要: LaDiMo: Layer-wise Distillation Inspired MoEfier

• arxiv url: http://arxiv.org/abs/2408.04278v1
• Date: Thu, 8 Aug 2024 07:37:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-09 16:17:56.687939
• Title: LaDiMo: Layer-wise Distillation Inspired MoEfier
• Title（参考訳）: LaDiMo:層単位で蒸留したMoEfier
• Authors: Sungyoon Kim, Youngjun Kim, Kihyo Moon, Minsung Jang,
• Abstract要約: 本稿では,Transformerベースの非MoEモデルを最小限のトレーニングコストでMoEモデルに変換する新しいアルゴリズムLaDiMoを提案する。 100Kトークンのみを用いてLLaMA2-7BモデルをMoEモデルに変換することにより,本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 1.6199400106794555
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The advent of large language models has revolutionized natural language processing, but their increasing complexity has led to substantial training costs, resource demands, and environmental impacts. In response, sparse Mixture-of-Experts (MoE) models have emerged as a promising alternative to dense models. Since training MoE models from scratch can be prohibitively expensive, recent studies have explored leveraging knowledge from pre-trained non-MoE models. However, existing approaches have limitations, such as requiring significant hardware resources and data. We propose a novel algorithm, LaDiMo, which efficiently converts a Transformer-based non-MoE model into a MoE model with minimal additional training cost. LaDiMo consists of two stages: layer-wise expert construction and routing policy decision. By harnessing the concept of Knowledge Distillation, we compress the model and rapidly recover its performance. Furthermore, we develop an adaptive router that optimizes inference efficiency by profiling the distribution of routing weights and determining a layer-wise policy that balances accuracy and latency. We demonstrate the effectiveness of our method by converting the LLaMA2-7B model to a MoE model using only 100K tokens, reducing activated parameters by over 20% while keeping accuracy. Our approach offers a flexible and efficient solution for building and deploying MoE models.
• Abstract（参考訳）: 大規模言語モデルの出現は自然言語処理に革命をもたらしたが、その複雑さが増し、かなりの訓練コスト、資源需要、環境への影響がもたらされた。 これに対し、疎混合実験モデル(MoE)は高密度モデルに代わる有望な代替品として出現している。 ゼロからMoEモデルをトレーニングすることは違法にコストがかかるため、最近の研究では、事前訓練された非MoEモデルからの知識の活用が検討されている。 しかし、既存のアプローチには、重要なハードウェアリソースやデータを必要とするような制限がある。 本稿では,Transformerベースの非MoEモデルを最小限のトレーニングコストでMoEモデルに変換する新しいアルゴリズムLaDiMoを提案する。 LaDiMoは2つの段階で構成されている。 知識蒸留の概念を利用することで、モデルを圧縮し、その性能を迅速に回復する。 さらに、ルーティング重みの分布をプロファイリングし、精度とレイテンシのバランスをとるレイヤワイドポリシーを決定することで、推論効率を最適化する適応ルータを開発する。 本稿では,100Kトークンのみを用いてLLaMA2-7BモデルをMoEモデルに変換し,精度を維持しながら活性パラメータを20%以上削減することで,本手法の有効性を実証する。 私たちのアプローチは、MoEモデルの構築とデプロイのための柔軟で効率的なソリューションを提供します。

関連論文リスト

• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• LLaMA-MoE: Building Mixture-of-Experts from LLaMA with Continual Pre-training [21.359073227913303]
  大規模な環境でのMoEのスクラッチからのトレーニングは、依然としてデータ不足と不安定な問題に悩まされている。 この制限により、既存の高密度大言語モデルからMoEモデルを構築することを検討する。 我々のLLaMA-MoEモデルは、同様のアクティベーションパラメータを含む高密度モデルよりも著しく優れている。
  論文  参考訳（メタデータ） (2024-06-24T11:43:07Z)
• U2++ MoE: Scaling 4.7x parameters with minimal impact on RTF [10.81723269312202]
  Mixture-of-Experts (MoE) は、より大きく、より有能な言語モデルへのエネルギー効率の良い経路として提案されている。 提案したモデルを大規模インナーソースデータセット(160k時間)でベンチマークする。
  論文  参考訳（メタデータ） (2024-04-25T08:34:21Z)
• Dense Training, Sparse Inference: Rethinking Training of Mixture-of-Experts Language Models [62.4691912312317]
  Mixture-of-Experts (MoE)言語モデルは、性能を犠牲にすることなく、高密度モデルと比較して計算コストを2～4ドル削減することができる。 本稿では,強力な計算とパラメータ効率を実現するMOEモデル(DS-MoE)のためのハイブリッド密集型トレーニングおよびスパース推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-08T14:39:49Z)
• MoMo: Momentum Models for Adaptive Learning Rates [14.392926033512069]
  我々は任意の運動量法で利用できる新しいPolyak型適応学習率を開発した。 我々はまず,SGD-Mのモーメントモデルに基づく適応学習率であるMoMoを開発した。 運動量に基づく手法と組み合わせてMoMoを利用できることを示すとともに,MoMo-Adamの開発によってこれを実証する。
  論文  参考訳（メタデータ） (2023-05-12T16:25:57Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)
• METRO: Efficient Denoising Pretraining of Large Scale Autoencoding Language Models with Model Generated Signals [151.3601429216877]
  本稿では,補助モデルにより生成された学習信号を用いて,大規模自動符号化言語モデルの事前学習を行う。 我々は「モデル生成dEnoising TRaining Objective」(METRO)というレシピを提案する。 結果、最大54億のパラメータからなるMETRO-LMは、GLUE、SuperGLUE、SQuADベンチマークで新しい最先端を実現する。
  論文  参考訳（メタデータ） (2022-04-13T21:39:15Z)
• DeepSpeed-MoE: Advancing Mixture-of-Experts Inference and Training to Power Next-Generation AI Scale [27.684722514336546]
  DeepSpeedライブラリの一部として,エンドツーエンドのMoEトレーニングおよび推論ソリューションであるDeepSpeed-MoEを紹介する。 DeepSpeed-MoEは、高品質の高密度モデルに比べて最大4.5倍高速で9倍の推論が可能な大規模なMoEモデルを提供するために、前例のないスケールと効率を提供する。
  論文  参考訳（メタデータ） (2022-01-14T18:36:04Z)
• Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
  我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。 また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。 50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2021-09-22T00:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。