論文の概要: Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models

• arxiv url: http://arxiv.org/abs/2610.41236v1
• Date: Fri, 30 Oct 2026 04:21:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.613726
• Title: Experts Exhibit Structured Redundancy: Structure-Preserving Expert Pruning for Mixture-of-Experts Large Language Models
• Title（参考訳）: 構造的冗長性を制限するエキスパート:多言語混在言語モデルのための構造保存エキスパートプルーニング
• Abstract要約: その結果,MoE層内の専門出力は構造的冗長性を示すことがわかった。 我々は、構造保存されたエキスパートサブセット選択問題として、エキスパートプルーニングを再構成する。 本稿では,構造保存フレームワークを統一した2種類のプルーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 33.81197420833836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse MoE mechanism significantly improves the trade-off between model capacity and inference efficiency. However, practical deployment still requires storing all experts, resulting in substantial memory overhead. We show that expert outputs in MoE layers exhibit structured redundancy. Across different models and task categories, the stable rank and entropy effective rank of expert outputs are consistently far below the nominal number of experts, while expert output distributions also exhibit fewer effective modes. Motivated by these observations, we reformulate expert pruning as a structure-preserving expert subset selection problem and efficiently optimize it via a greedy strategy, rather than only independently scoring and ranking individual experts or exhaustively searching over expert combinations. We propose two expert pruning methods under the unified structure-preserving framework: Projection Energy Expert Pruning (PEEP), which preserves the functional subspace by maximizing weighted projection energy, and Distributional Coverage Expert Pruning (DCEP), which preserves the distributional geometry by minimizing weighted coverage error. Both methods incorporate router-derived weights as priors, enabling them to jointly preserve the global structural relationships among experts while accounting for the local importance of individual experts. Experiments on DeepSeek-V2-Lite and Qwen3-30B-A3B demonstrate that, at the expert retention ratios of 75% and 50%, our methods outperform the state-of-the-art baselines on the majority of benchmarks and consistently achieve the best average performance across both general tasks and mathematical reasoning tasks.
• Abstract（参考訳）: スパースMoE機構はモデルキャパシティと推論効率のトレードオフを大幅に改善する。 しかしながら、実際のデプロイメントには、すべての専門家を保存する必要があるため、かなりのメモリオーバーヘッドが発生する。 その結果,MoE層内の専門出力は構造的冗長性を示すことがわかった。 モデルやタスクのカテゴリによって、専門家のアウトプットの安定したランクとエントロピー効果のランクは、専門家の定員よりもはるかに低いが、専門家のアウトプット分布はより少ない有効モードを示す。 これらの結果から,専門家選抜を構造保存専門家選抜問題として再定式化し,個別の専門家を個別に採点・格付けしたり,専門家コンビネーションを徹底的に探したりするのではなく,欲張り戦略によって効率よく最適化する。 重み付き射影エネルギーを最大化して機能的部分空間を保存する射影エネルギーエキスパートプランニング(PEEP)と、重み付き被覆誤差を最小化して分布幾何学を保存する分布被覆エキスパートプランニング(DCEP)の2つの方法を提案する。 どちらの手法も、ルーター由来の重みを先行として含み、専門家間のグローバルな構造的関係を共同で保存し、個々の専門家の地域的重要性を考慮に入れている。 DeepSeek-V2-Lite と Qwen3-30B-A3B の実験では、専門家の保持率 75% と 50% において、我々の手法は、ベンチマークの大部分における最先端のベースラインを上回り、一般的なタスクと数学的推論タスクの両方で最高の平均性能を一貫して達成している。

関連論文リスト

• Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
  そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-09-30T18:33:27Z)
• Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
  本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。 私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。 専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
  論文  参考訳（メタデータ） (2026-05-12T07:47:22Z)
• MoE Lens -- An Expert Is All You Need [0.09444932939944471]
  エキスパートの混合(MoE)モデルは、スパース専門家のアクティベーションを通じてパラメータ効率のスケーリングを可能にする。 本稿では,2つの相補的アプローチを用いて,MoEsの専門家専門化の体系的分析を行う。
  論文  参考訳（メタデータ） (2026-03-06T01:35:28Z)
• SD-MoE: Spectral Decomposition for Effective Expert Specialization [29.649486549025138]
  Mixture-of-Experts (MoE)アーキテクチャは、条件計算によって引き起こされる専門家の専門化を通じて、大規模言語モデルをスケールする。 一部の専門家は機能的に似ていますが、デファクト共有の専門家として機能し、効果的な能力とモデルパフォーマンスを制限します。 スペクトル空間におけるパラメータと勾配の両方を分解するスペクトル分離型MoE(SD-MoE)を提案する。
  論文  参考訳（メタデータ） (2026-02-13T03:07:26Z)
• Domain-Specific Pruning of Large Mixture-of-Experts Models with Few-shot Demonstrations [48.890534958441016]
  本研究では,大規模MoEモデルにおける領域の特殊化と専門的冗長性について検討する。 本稿では,最も関係のある専門家のみを識別・保持するための簡易で効果的な刈取フレームワークであるEASY-EPを提案する。 DeepSeek-R1とDeepSeek-V3-0324の実験は、我々の手法が同じメモリ予算の下で同等の性能と2.99タイムのスループットを達成できることを示した。
  論文  参考訳（メタデータ） (2025-04-09T11:34:06Z)
• Finding Fantastic Experts in MoEs: A Unified Study for Expert Dropping Strategies and Observations [86.90549830760513]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 多様な視点から専門家の重要度を推定するためのベンチマークとして,MoE Experts Compression Suite (MC-Suite)を提案する。 我々は,SMoEsの指示追従能力が主に損なわれるという,実験的に検証された予想を提示する。
  論文  参考訳（メタデータ） (2025-04-08T00:49:08Z)
• Convergence Rates for Softmax Gating Mixture of Experts [78.3687645289918]
  機械学習モデルの効率性とスケーラビリティを向上するための効果的なフレームワークとして、Mixture of Expert (MoE)が登場した。 MoEの成功の中心は、適応的なソフトマックスゲーティングメカニズムであり、各専門家の入力に対する関連性を決定する責任を負い、それぞれの重みを動的に専門家に割り当てる。 標準ソフトマックスゲーティングまたはその変種を備えたMoEの下で,パラメータ推定と専門家推定の収束解析を行い,密度とスパースゲーティングと階層ソフトマックスゲーティングを含む。
  論文  参考訳（メタデータ） (2025-03-05T06:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。