論文の概要: You Only Need 2/3 of the Chosen Experts: An Empirical Study of Dynamic Expert Pruning in Fine-Grained MoE LLMs

• arxiv url: http://arxiv.org/abs/2609.25809v1
• Date: Tue, 22 Sep 2026 07:39:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-23 18:04:04.27187
• Title: You Only Need 2/3 of the Chosen Experts: An Empirical Study of Dynamic Expert Pruning in Fine-Grained MoE LLMs
• Title（参考訳）: チョウセン専門家の2/3しか必要としない:微細粒MOE LLMにおける動的専門家の育成に関する実証的研究
• Abstract要約: 専門家の選択は、フィールドの操作ポイントが想定するよりもはるかに冗長である。 また、動的アロケーションは保守的な予算で動的アロケーションする余地がほとんどないこともわかりました。
• 参考スコア（独自算出の注目度）: 26.649134312131128
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Fine-grained mixture-of-experts (MoE) architectures have become a mainstream design for open-weight LLMs, with hundreds of experts and increasingly many selected per token. This shift makes dynamic expert pruning an attractive route to cheaper inference. Yet existing evidence comes largely from coarser architectures and likelihood-scored multiple-choice benchmarks, leaving three central questions open in the fine-grained regime: how redundant per-token expert selection is, how effectively existing pruning methods exploit that redundancy, and what governs a model's sensitivity to pruning. We fill this gap with a systematic empirical study of twelve fine-grained MoE checkpoints spanning nine architecture families, with a core suite of eleven benchmarks covering knowledge QA, mathematics, code generation, and general reasoning. We find that expert selection is far more redundant than the field's operating points assume: uniformly retaining about two thirds of the selected experts preserves 98.8% of unpruned performance on average, requiring only a one-integer change and delivering 1.2-1.7x measured speedup across two serving backends. This simple baseline leaves little room for dynamic allocation at conservative budgets: even the best published rules differ from it by under 1% at matched expert budgets. Their value emerges under aggressive pruning, where the best rules recover up to 3.0% over uniform truncation, with gains concentrated in the generative tasks that suffer the sharpest degradation. Sensitivity to aggressive pruning also depends on the model: larger and thinking models are more resilient, whereas multimodal models are more vulnerable. Together, these findings reveal how much expert computation fine-grained MoEs can dispense with, and establish when dynamic allocation earns its complexity, informing both practical deployment and future pruning methods.
• Abstract（参考訳）: きめ細かいミキシング・オブ・エキスパート(MoE)アーキテクチャは、数百のエキスパートと、トークンごとに選択される数の増加とともに、オープンウェイト LLM の主流設計となっている。 このシフトにより、動的専門家のプルーニングは、より安価な推論への魅力的なルートになります。 しかし、既存のエビデンスは主に粗いアーキテクチャと、潜在的に装飾された多重選択ベンチマークから来ており、きめ細かな体制の中で3つの中心的な疑問を残している: トークンごとのエキスパート選択の冗長さ、既存のプルーニングメソッドがその冗長性を効果的に活用する方法、モデルがプルーニングに敏感さを支配していること、である。 このギャップを、9つのアーキテクチャファミリにまたがる12の細かいMoEチェックポイントの体系的研究で埋め、11のベンチマークスイートで知識QA、数学、コード生成、一般的な推論をカバーしています。 選択された専門家の約3分の2を均一に保持することは、平均で98.8%の未処理のパフォーマンスを保持し、単一の整数変更のみを必要とし、2つのサービスバックエンドで1.2-1.7倍のスピードアップを提供する。 このシンプルなベースラインは、保守的な予算で動的に割り当てる余地をほとんど残していない。 彼らの価値は、攻撃的な刈り込みの下で出現し、最も厳しい劣化に苦しむ生成タスクに集中して、最良のルールが一様切り離しによって最大3.0%まで回復する。 より大きく考えるモデルはより弾力性があり、一方、マルチモーダルモデルはより脆弱である。 これらの結果から, 動的アロケーションが複雑性を達成し, 実用的展開法と今後の刈り取り法の両方を実現できることを示す。

関連論文リスト

• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs [4.035485260002141]
  Sparse Mixture-of-Experts (MoE)モデルは、トーケンの少ない計算で強力な品質を達成するが、そのデプロイメントはメモリウォールによって制限されることが多い。 課題駆動型プルーニングフレームワークのtextbfSHAPE を提案する。
  論文  参考訳（メタデータ） (2026-06-03T08:41:48Z)
• Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
  本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。 私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。 専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
  論文  参考訳（メタデータ） (2026-05-12T07:47:22Z)
• Does a Global Perspective Help Prune Sparse MoEs Elegantly? [21.594202826999958]
  既存のプルーニング手法は、通常、平らなMoEで生じる不均一な冗長性を見渡して、層全体に均一に予算を割り当てる。 GRAPE(Global Redundancy-Aware Pruning of Experts)は,多層冗長性に基づいて動的にプルーニング予算を割り当てるグローバルプルーニング戦略である。 Mixtral-8x7B、Mixtral-8x22B、DeepSeek-MoE、Qwen-MoE、およびGPT-OSSの実験では、同じプルーニング予算の下では、GRAPEは一貫して最高の平均性能を達成している。
  論文  参考訳（メタデータ） (2026-04-08T00:41:11Z)
• MoDES: Accelerating Mixture-of-Experts Multimodal Large Language Models via Dynamic Expert Skipping [52.02659589971978]
  我々は,MoE MLLM推論を効果的かつ正確なものにするために,専門家を適応的にスキップする最初のトレーニングフリーフレームワークであるMoDESを提案する。 MoDESは推論速度を大幅に向上させ、プリフィルタイムを2.16$times$、デコードタイムを1.26$times$に改善する。
  論文  参考訳（メタデータ） (2025-11-19T18:48:27Z)
• Ban&Pick: Ehancing Performance and Efficiency of MoE-LLMs via Smarter Routing [36.625445642399136]
  Ban&Pickは、よりスマートなルーティングのためのポストトレーニング、プラグイン・アンド・プレイ戦略である。 パフォーマンスに大きく影響した重要な専門家を発見し、強化する。 トレーニングやアーキテクチャの変更なしに、無償のパフォーマンス向上と推論アクセラレーションを提供する。
  論文  参考訳（メタデータ） (2025-09-08T05:38:10Z)
• Unified Sparse Mixture of Experts [14.774596844618396]
  SMOE(Sparse Mixture of Experts)モデルは、一定の計算オーバーヘッドを維持しながら、モデルのキャパシティをスケールする。 本稿では,これらの制約に対処する統一スパース・ミックス・オブ・エキスパート(USMoE)フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-29T07:15:12Z)
• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• MoE++: Accelerating Mixture-of-Experts Methods with Zero-Computation Experts [63.67734699877724]
  MoE++は、Feed-Forward Network(FFN)とゼロ計算の専門家を統合した、汎用的で異種なMoEフレームワークである。 MoE++は、1.1-2.1xのエキスパートの前方スループットを同じサイズのバニラのMoEモデルと比較すると、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2024-10-09T18:01:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。