論文の概要: Faster MoE LLM Inference for Extremely Large Models

• arxiv url: http://arxiv.org/abs/2505.03531v1
• Date: Tue, 06 May 2025 13:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.402817
• Title: Faster MoE LLM Inference for Extremely Large Models
• Title（参考訳）: 極大モデルに対する高速MOE LLM推論
• Authors: Haoqi Yang, Luohe Shi, Qiwei Li, Zuchao Li, Ping Wang, Bo Du, Mengjia Shen, Hai Zhao,
• Abstract要約: きめ細かいMoEモデルは人気を集めているが、研究は限られている。 アクティベートされた専門家の数を削減すれば、特定のシナリオにおける大幅な効率改善につながる可能性がある。 性能劣化を伴わずにスループットを少なくとも10%向上させることができる。
• 参考スコア（独自算出の注目度）: 75.57674991584608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Sparse Mixture of Experts (MoE) large language models (LLMs) are gradually becoming the mainstream approach for ultra-large-scale models. Existing optimization efforts for MoE models have focused primarily on coarse-grained MoE architectures. With the emergence of DeepSeek Models, fine-grained MoE models are gaining popularity, yet research on them remains limited. Therefore, we want to discuss the efficiency dynamic under different service loads. Additionally, fine-grained models allow deployers to reduce the number of routed experts, both activated counts and total counts, raising the question of how this reduction affects the trade-off between MoE efficiency and performance. Our findings indicate that while deploying MoE models presents greater challenges, it also offers significant optimization opportunities. Reducing the number of activated experts can lead to substantial efficiency improvements in certain scenarios, with only minor performance degradation. Reducing the total number of experts provides limited efficiency gains but results in severe performance degradation. Our method can increase throughput by at least 10\% without any performance degradation. Overall, we conclude that MoE inference optimization remains an area with substantial potential for exploration and improvement.
• Abstract（参考訳）: Sparse Mixture of Experts (MoE) Large Language Model (LLM) は、超大規模モデルの主流となっている。 既存のMoEモデルの最適化作業は主に粗い粒度のMoEアーキテクチャに焦点を当てている。 DeepSeek Modelsの登場に伴い、粒度の細かいMoEモデルが人気を集めているが、その研究は限られている。 したがって、異なるサービス負荷下での効率のダイナミクスについて議論したい。 さらに、粒度の細かいモデルでは、アクティブカウントとトータルカウントの両方でルーティングされた専門家の数を削減できるため、この削減がMoE効率とパフォーマンスのトレードオフにどのように影響するかという疑問が提起される。 以上の結果から,MoEモデルのデプロイは大きな課題を呈する一方で,最適化の機会も大きいことが示唆された。 アクティベートされた専門家の数を削減すれば、パフォーマンスの低下がわずかであるため、特定のシナリオにおける大幅な効率改善につながる可能性がある。 専門家の総数を減らすことで、効率性は制限されるが、パフォーマンスが著しく低下する。 本手法は, 性能劣化を伴わずに, スループットを少なくとも10 %向上させることができる。 全体として、MoE推論の最適化は、探索と改善のかなりの可能性を秘めていると結論付けている。

関連論文リスト

• Efficiently Editing Mixture-of-Experts Models with Compressed Experts [22.868004724309845]
  完全エキスパートのコンパクト表現として機能する軽量モジュールである圧縮された専門家の概念を提案する。 我々のアプローチは、他の補助活性化専門家を圧縮専門家に置き換えながら、最も重要な専門家を保護します。
  論文  参考訳（メタデータ） (2025-03-01T22:00:03Z)
• AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
  AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。 AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。 AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2024-08-19T03:27:15Z)
• Mixture of A Million Experts [1.240096657086732]
  本稿では,多彩な専門家プールからのスパース検索に製品キー技術を利用する新しい層設計PEERを紹介する。 言語モデリングタスクの実験では、PEER層が高密度FFWや粗粒のMoEよりもパフォーマンス・計算トレードオフの点で優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-04T20:59:20Z)
• Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs [30.07344792770254]
  我々は,SMoEモデルのエキスパートの育成を促進するため,EEP(Efficient Expert Pruning)と呼ばれる勾配のない進化戦略を導入する。 EEPは、ダウンストリームタスクのパフォーマンスを維持したり改善したりしながら、モデル推論(すなわち、勾配計算をしない)とより大きな疎性にのみ依存する。 実験の結果,Mixtral 8times7$B-Instructのエキスパートの75%が,性能損失を最小限に抑えたパラメータの大幅な削減を達成できた。
  論文  参考訳（メタデータ） (2024-07-01T03:57:35Z)
• SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
  本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。 第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。 実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
  論文  参考訳（メタデータ） (2024-04-07T22:13:43Z)
• Not All Experts are Equal: Efficient Expert Pruning and Skipping for Mixture-of-Experts Large Language Models [90.14693869269519]
  MoE LLMはより少ないパラメータで高いパフォーマンスを実現することができるが、パラメータサイズが大きいためデプロイは困難である。 本稿では主に,プラグ・アンド・プレイ・エキスパートレベルのスペーシフィケーション技術を導入することで,MoE LLMの展開効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-02-22T18:56:07Z)
• Exploiting Activation Sparsity with Dense to Dynamic-k Mixture-of-Experts Conversion [4.716845031095804]
  トランスフォーマーモデルは、高い計算要求のため、実用的な制限に直面する可能性がある。 このようなモデルは、ネットワークの一部を等価なMixture-of-Experts (MoE)層に変換することで、推論コストを削減するために利用することができる。 本研究では,基本モデルの活性化間隔を適切に正規化することにより,変換効率を大幅に向上できることを実証する。
  論文  参考訳（メタデータ） (2023-10-06T16:34:51Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。