Fugu-MT 論文翻訳(概要): MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts

論文の概要: MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts

arxiv url: http://arxiv.org/abs/2410.07348v1
Date: Wed, 9 Oct 2024 18:01:27 GMT
ステータス: 処理完了
システム内更新日: 2024-10-31 20:56:57.451522
Title: MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts
Title（参考訳）: MoE++:ゼロ計算エキスパートによるMixture-of-Expertsメソッドの高速化
Authors: Peng Jin, Bo Zhu, Li Yuan, Shuicheng Yan,
Abstract要約: MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
参考スコア（独自算出の注目度）: 63.67734699877724
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In this work, we aim to simultaneously enhance the effectiveness and efficiency of Mixture-of-Experts (MoE) methods. To achieve this, we propose MoE++, a general and heterogeneous MoE framework that integrates both Feed-Forward Network~(FFN) and zero-computation experts. Specifically, we introduce three types of zero-computation experts: the zero expert, copy expert, and constant expert, which correspond to discard, skip, and replace operations, respectively. This design offers three key advantages: (i) Low Computing Overhead: Unlike the uniform mixing mechanism for all tokens within vanilla MoE, MoE++ allows each token to engage with a dynamic number of FFNs, be adjusted by constant vectors, or even skip the MoE layer entirely. (ii) High Performance: By enabling simple tokens to utilize fewer FFN experts, MoE++ allows more experts to focus on challenging tokens, thereby unlocking greater performance potential than vanilla MoE. (iii) Deployment Friendly: Given that zero-computation experts have negligible parameters, we can deploy all zero-computation experts on each GPU, eliminating the significant communication overhead and expert load imbalance associated with FFN experts distributed across different GPUs. Moreover, we leverage gating residuals, enabling each token to consider the pathway taken in the previous layer when selecting the appropriate experts. Extensive experimental results demonstrate that MoE++ achieves better performance while delivering 1.1-2.1x expert forward throughput compared to a vanilla MoE model of the same size, which lays a solid foundation for developing advanced and efficient MoE-related models.
Abstract（参考訳）: 本研究では,Mixture-of-Experts(MoE)法の有効性と効率を同時に向上することを目的としている。そこで本研究では,Feed-Forward Network~(FFN)とゼロ計算専門家の両方を統合した,汎用的で異種なMoEフレームワークであるMoE++を提案する。具体的には,ゼロ専門家,コピー専門家,コンスタント専門家の3種類のゼロ計算エキスパートを紹介し,それぞれが廃棄・スキップ・置き換えを行う。このデザインには3つの利点がある。 (i)低演算オーバーヘッド:バニラ MoE 内の全てのトークンの均一混合機構とは異なり、MoE++ では各トークンが動的数の FFN と関わり、一定ベクトルで調整したり、MoE 層を完全にスキップしたりすることができる。 (ii) ハイパフォーマンス: 単純なトークンでFFNの専門家の少ない使用を可能にすることで、MoE++は、多くの専門家が挑戦的なトークンに集中できるようにし、バニラMoEよりも大きなパフォーマンスの可能性の解放を可能にします。 (iii)デプロイフレンドリー:ゼロ計算の専門家が無視可能なパラメータを持っていることを前提として、ゼロ計算の専門家を各GPUにデプロイし、さまざまなGPUに分散したFFN専門家に関連する重要な通信オーバーヘッドと専門家の負荷不均衡を排除します。さらに、ゲーティング残差を利用して、各トークンが適切な専門家を選択する際に、前層の経路を考慮できるようにします。大規模な実験結果によると、MoE++は1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較しながら、パフォーマンスが向上している。

関連論文リスト

HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文参考訳（メタデータ） (2024-11-03T04:25:46Z)
BAM! Just Like That: Simple and Efficient Parameter Upcycling for Mixture of Experts [41.83123857437985]
大規模な体制でゼロからMoEを訓練することは違法に高価である。本稿では,BAM(Branch-Attend-Mix)を提案する。 5億9000万から20億のパラメータのシードモデルに関する実験では、BAMがパープレキシティとダウンストリームのタスクパフォーマンスの両方でベースラインを超えていることが示されている。
論文参考訳（メタデータ） (2024-08-15T17:19:12Z)
MoMa: Efficient Early-Fusion Pre-training with Mixture of Modality-Aware Experts [95.26323548734692]
MoMaは、モダリティを意識したミックス・オブ・エキスパートアーキテクチャで、混合モーダル、アーリーフュージョン言語モデルを事前訓練する。 MoMa 1.4Bモデルには4人のテキスト専門家と4人の画像専門家が参加し、FLOPの大幅な節約を実現している。
論文参考訳（メタデータ） (2024-07-31T17:46:51Z)
AdaMoE: Token-Adaptive Routing with Null Experts for Mixture-of-Experts Language Models [14.646419975663367]
我々はAdaMoEを導入し、MoEのトークン適応ルーティングを実現する。 AdaMoEは各トークンに一定数のnullエキスパートを占有させません。パフォーマンスを向上しながら、平均的な専門家負荷(FLOP)を削減できます。
論文参考訳（メタデータ） (2024-06-19T05:47:10Z)
Expert-Token Resonance: Redefining MoE Routing through Affinity-Driven Active Selection [16.539855450082946]
親和性駆動型アクティブセレクションによるMoEルーティングを再定義する新しいフレームワークを提案する。理論的解析により,本手法は高いキャパシティ・バウンダリ・リダクションを実現しつつ,専門家の均質化を緩和することを示した。微調整を監督した後、GDAD、C-Eval、TeleQnAベンチマークで9.7%から14.1%のパフォーマンス向上を示した。
論文参考訳（メタデータ） (2024-05-24T02:50:44Z)
Multilinear Mixture of Experts: Scalable Expert Specialization through Factorization [51.98792406392873]
Mixture of Experts (MoE)は、高密度層をより小さくモジュール化された計算に分解する強力な方法を提供する。大きな課題は、きめ細かい特殊化を達成するのに十分高い専門家の数をスケーリングする計算コストである。視覚モデルに焦点をあて、この問題に対処するため、Multilinear Mixture of Experts(mu$MoE)層を提案する。
論文参考訳（メタデータ） (2024-02-19T21:20:22Z)
Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。ルーティング統計を利用したM-SMoEを提案する。我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
論文参考訳（メタデータ） (2023-10-02T16:51:32Z)
MoEC: Mixture of Expert Clusters [93.63738535295866]
Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。 MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
論文参考訳（メタデータ） (2022-07-19T06:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。