論文の概要: EvoESAP: Non-Uniform Expert Pruning for Sparse MoE

• arxiv url: http://arxiv.org/abs/2603.06003v1
• Date: Fri, 06 Mar 2026 08:02:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 13:17:45.300727
• Title: EvoESAP: Non-Uniform Expert Pruning for Sparse MoE
• Title（参考訳）: EvoESAP: スパースMoEで非統一専門家が批判
• Abstract要約: textbfExpected textbfAcceptance textbfProxy (textbfESAP) は,プルーンドモデルがフルモデルとどの程度よく一致しているかを測定する投機的復号化型教師力メトリクスである。 固定されたグローバル予算の下で一様でない層単位の空間配置を最適化する進化的探索フレームワークであるEvoESAPを提案する。
• 参考スコア（独自算出の注目度）: 42.738877185877634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse Mixture-of-Experts (SMoE) language models achieve strong capability at low per-token compute, yet deployment remains memory- and throughput-bound because the full expert pool must be stored and served. Post-training expert pruning reduces this cost, but most methods focus on which experts to prune within each layer and default to a uniform layer-wise sparsity allocation, even though the allocation can strongly affect performance. We decouple pruning into within-layer expert ranking and across-layer budget allocation, and introduce \textbf{E}xpected \textbf{S}peculative \textbf{A}cceptance \textbf{P}roxy (\textbf{ESAP}), a speculative-decoding-inspired, teacher-forced metric that measures how well a pruned model matches the full model. ESAP is bounded and stable, enabling cheap comparison of many candidates without costly autoregressive decoding. Building on ESAP, we propose EvoESAP, an evolutionary searching framework that optimizes a non-uniform layer-wise sparsity allocation under a fixed global budget while holding the within-layer pruning order fixed, making it a plug-and-play method with criteria such as Frequency, EAN, SEER, and REAP. Across 7B--30B SMoE LLMs at 25\% and 50\% sparsity, EvoESAP consistently discovers non-uniform allocations that improve open-ended generation (up to \textbf{+19.6\%} on MATH-500 at 50\% sparsity) while preserving competitive multiple-choice accuracy compared with uniform pruning at the same sparsity.
• Abstract（参考訳）: SMOE(Sparse Mixture-of-Experts)言語モデルは、トーケン当たりの少ない計算で強力な能力を達成するが、完全なエキスパートプールを保存して提供しなければならないため、デプロイメントはメモリとスループットに縛られる。 トレーニング後のエキスパートプルーニングは、このコストを削減しますが、ほとんどのメソッドは、各レイヤ内でどの専門家をプルーし、デフォルトでは、アロケーションがパフォーマンスに強く影響しても、均一なレイヤ単位のスパシティアロケーションにするかに重点を置いています。 我々は、プルーニングを層内の専門家ランキングと層内予算配分に分離し、プルーニングモデルがフルモデルとどの程度よく一致するかを測る投機的デコードインスパイアされた教師強制計量である、textbf{E}xpected \textbf{S}peculative \textbf{A}cceptance \textbf{P}roxy (\textbf{ESAP})を導入する。 ESAPはバウンドで安定しており、コストのかかる自己回帰デコードなしで多くの候補を安価に比較できる。 ESAPをベースとした進化的探索フレームワークであるEvoESAPを提案する。EvoESAPは、固定された大域的予算の下で、層内プルーニング順序を固定しつつ、一様でない層間空間配置を最適化し、周波数、EAN、SEER、REAPなどの基準付きプラグ・アンド・プレイ方式である。 7B--30B SMoE LLM は 25 % と 50 % の間隔で、EvoESAP は、同じ間隔での均一プルーニングと競合する多重選択精度を維持しながら、オープンエンド生成を改善する非一様割当(MATH-500 上の \textbf{+19.6\%} まで)を常に発見している。

関連論文リスト

• Distribution-Consistent Inference for Dynamic Sparse Mixture-of-Experts [48.294824672909876]
  推論時動的top-k$ルーティングは、再トレーニングせずに計算を削減できる。 アクティベートした専門家の数を減らせば、SMoE出力のRMSスケールと分散が一貫して増加することを示す。 そこで我々は,レイヤワイズ・キャリブレーションの統計値を用いて,最小構成の縮小表現を整列する軽量な推論時間補正法であるレイヤワイズ・アライメント・アライメント(LDA)を提案する。
  論文  参考訳（メタデータ） (2026-09-08T06:23:07Z)
• FlexMoE: One-for-All Nested Intra-Expert Pruning for MoE Language Models [20.61741593160247]
  Mixture-of-Experts (MoE)言語モデルは、わずかに活性化された専門家によってモデル能力をスケールする。 既存のMoE圧縮手法は依然として固定予算であり、通常、それぞれの目標予算で1つの圧縮エンドポイントを最適化する。 私たちは、大規模な事前訓練されたMOE LLMを、予算にわたってデプロイ可能な予算作業のネストされたファミリーに変換するという、異なる設定を研究します。
  論文  参考訳（メタデータ） (2026-06-26T09:08:03Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs [4.035485260002141]
  Sparse Mixture-of-Experts (MoE)モデルは、トーケンの少ない計算で強力な品質を達成するが、そのデプロイメントはメモリウォールによって制限されることが多い。 課題駆動型プルーニングフレームワークのtextbfSHAPE を提案する。
  論文  参考訳（メタデータ） (2026-06-03T08:41:48Z)
• Does a Global Perspective Help Prune Sparse MoEs Elegantly? [21.594202826999958]
  既存のプルーニング手法は、通常、平らなMoEで生じる不均一な冗長性を見渡して、層全体に均一に予算を割り当てる。 GRAPE(Global Redundancy-Aware Pruning of Experts)は,多層冗長性に基づいて動的にプルーニング予算を割り当てるグローバルプルーニング戦略である。 Mixtral-8x7B、Mixtral-8x22B、DeepSeek-MoE、Qwen-MoE、およびGPT-OSSの実験では、同じプルーニング予算の下では、GRAPEは一貫して最高の平均性能を達成している。
  論文  参考訳（メタデータ） (2026-04-08T00:41:11Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• UniPruning: Unifying Local Metric and Global Feedback for Scalable Sparse LLMs [46.12497343562301]
  大規模言語モデル (LLM) は様々なタスクにまたがって高いパフォーマンスを達成するが、計算とメモリのコストは禁じられている。 We present UniPruning, a unified post-training pruning framework that with the speed of local saliency metrics and the stability of global coordinate。 UniPruningは、競争力または優れたパープレクティリティとゼロショットの精度を一貫して提供する。
  論文  参考訳（メタデータ） (2025-09-29T13:38:28Z)
• DiEP: Adaptive Mixture-of-Experts Compression through Differentiable Expert Pruning [24.59026258291765]
  既存のMoEプルーニング法は、様々なMoE層で専門家の冗長性が異なるため、最適以下の結果と性能劣化をもたらすことが多い。 我々は、層間重要度を共同学習しながら、層レベルでのプルーニング率を適応的に調整する、textbfDiEPと呼ばれる、一様でないプルーニング戦略を提案する。 本手法は,非一様専門家の組み合わせを指数関数的に増加させ,適応的勾配に基づくプルーニングを可能にする。
  論文  参考訳（メタデータ） (2025-09-19T15:47:42Z)
• MaskPro: Linear-Space Probabilistic Learning for Strict (N:M)-Sparsity on Large Language Models [53.36415620647177]
  半構造化された空間は、M$M$の重みからN$の要素を戦略的に保持することで、有望なソリューションを提供する。 既存の(N:M)互換のアプローチは通常、かなりのエラーに悩まされるルールベースの階層的な欲求探索と、禁止的なトレーニングコストを引き起こす勾配駆動学習の2つのカテゴリに分類される。 MaskProという新しい線形空間確率的フレームワークを提案する。これは、M$連続重みごとに事前のカテゴリー分布を学習し、その後、この分布を活用して(N:M)スパーシリティを$N$-wayサンプリングを通じて生成することを目的としている。
  論文  参考訳（メタデータ） (2025-06-15T15:02:59Z)
• Týr-the-Pruner: Structural Pruning LLMs via Global Sparsity Distribution Optimization [16.627496870394456]
  T'yr-the-Prunerは、効率的なエンドツーエンド検索ベースのグローバルな構造解析フレームワークである。 実効的な局所刈り取りと,スーパーネット構築を改善するための予測誤差蓄積手法を導入する。 以上の結果から,T'yr-the-Prunerは高密度モデルの性能の97%を保ちながら,最先端構造解析を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-03-12T11:52:49Z)
• Towards Efficient Automatic Self-Pruning of Large Language Models [55.90119819642064]
  トレーニング後の構造化プルーニングは、トレーニングを必要とせずに大規模言語モデルを熟成する有望なソリューションである。 この問題を緩和する鍵は、各レイヤのプルーニング率を正確に決定することにある、と我々は主張する。 我々は、レイヤワイドプルーニングレートを効率的に検索するLLMのためのエンドツーエンドの自動自動プルーニングフレームワークである$textbfSelf-Prunerを紹介した。
  論文  参考訳（メタデータ） (2025-02-20T09:59:50Z)
• Smoothed Normalization for Efficient Distributed Private Optimization [54.197255548244705]
  フェデレートされた学習は、参加者のプライバシを備えた機械学習モデルを可能にする。 トレーニングやフィードバックのない問題に対して、差分にプライベートな分散手法は存在しない。 証明可能な収束保証付き分散アルゴリズム$alpha$-$sf NormEC$を導入する。
  論文  参考訳（メタデータ） (2025-02-19T07:10:32Z)
• [Reproducibility Report] Rigging the Lottery: Making All Tickets Winners [1.6884611234933766]
  スパーストレーニングアルゴリズムである$textitRigL$は、既存の密集型トレーニング技術のパフォーマンスに適合または超過したスパースネットワークを直接トレーニングする、と主張している。 Pytorchのスクラッチから$textitRigL$を実装し、報告された値の0.1%以内でCIFAR-10のパフォーマンスを再現する。
  論文  参考訳（メタデータ） (2021-03-29T17:01:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。