論文の概要: EAT: Expert Account Tracker for Efficient MoE Inference

• arxiv url: http://arxiv.org/abs/2609.33614v1
• Date: Sun, 27 Sep 2026 14:28:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:15:10.980533
• Title: EAT: Expert Account Tracker for Efficient MoE Inference
• Title（参考訳）: EAT: 効率的なMoE推論のためのエキスパートアカウントトラッカー
• Abstract要約: Mixture-of-Experts (MoE)モデルは、Transformerモデルをスケールするための革命的な方法として登場した。 従来のMoEアーキテクチャは、多くの専門家が不必要にアクティベートされているため、依然として非効率に悩まされている。 重要な専門家を動的に選別するエキスパートアカウントトラッカー(EAT)を提案する。
• 参考スコア（独自算出の注目度）: 32.61657656021244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models have emerged as a revolutionary method to scale Transformer models. However, traditional MoE architecture still suffers from inefficiency since a large number of experts are unnecessarily activated. Existing approaches for reducing the number of activated experts often overlook the historical performance of each expert. In this paper, we propose EAT, a novel method called Expert Account Tracker (EAT), which utilizes history-awareness metrics and adaptive thresholding to dynamically select the most important experts, thereby reducing the activated expert number while effectively maintaining the model performance. Experiments show that EAT outperforms the existing baseline Top-P method across multiple models and datasets, achieving over 25% an average reduction compared to the vanilla method in the number of activated experts and performing better token generation speed compared to the baseline. Furthermore, the performance of pruned models can be efficiently recovered via OPD using only 9K data. Additionally, through ablation studies, we find that excessively reducing the number of activated experts can significantly harm model performance, and the importance of experts varies across layers, with higher-level experts being generally more critical.
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルは、Transformerモデルをスケールするための革命的な方法として登場した。 しかし、多くの専門家が不必要にアクティベートされているため、従来のMoEアーキテクチャは依然として非効率に悩まされている。 アクティベートされた専門家の数を削減するための既存のアプローチは、各専門家の過去のパフォーマンスを見落としていることが多い。 本稿では、履歴認識メトリクスと適応しきい値を用いたエキスパートアカウントトラッカー(EAT)と呼ばれる新しい手法を提案し、モデル性能を効果的に維持しつつ、アクティベートされたエキスパート数を減らし、最も重要なエキスパートを動的に選択する。 実験の結果、EATは既存のベースラインのTop-P法を複数のモデルやデータセットで上回り、アクティベートした専門家の数でバニラ法と比較して平均25%以上の削減を実現し、ベースラインに比べてトークン生成速度が向上していることがわかった。 さらに,9Kデータのみを用いて,OPDによりプルーニングモデルの性能を効率よく回復することができる。 さらに、アブレーション研究により、アクティベートされた専門家の数が過度に減少すると、モデルの性能が著しく低下し、より高いレベルの専門家がより批判的になるため、専門家の重要性は層によって異なることが判明した。

関連論文リスト

• Faster MoE LLM Inference for Extremely Large Models [75.57674991584608]
  きめ細かいMoEモデルは人気を集めているが、研究は限られている。 アクティベートされた専門家の数を削減すれば、特定のシナリオにおける大幅な効率改善につながる可能性がある。 性能劣化を伴わずにスループットを少なくとも10%向上させることができる。
  論文  参考訳（メタデータ） (2025-05-06T13:41:17Z)
• Efficiently Editing Mixture-of-Experts Models with Compressed Experts [17.21724072692648]
  完全エキスパートのコンパクト表現として機能する軽量モジュールである圧縮された専門家の概念を提案する。 我々のアプローチは、他の補助活性化専門家を圧縮専門家に置き換えながら、最も重要な専門家を保護します。
  論文  参考訳（メタデータ） (2025-03-01T22:00:03Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。