論文の概要: SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs

• arxiv url: http://arxiv.org/abs/2610.29662v1
• Date: Wed, 21 Oct 2026 12:40:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.359819
• Title: SPARE: Sparsity Allocation via Routing Entropy for Efficient MoEs
• Title（参考訳）: SPARE: 効率的なMOEのためのルーティングエントロピーによる空間割当
• Abstract要約: 本研究では,各層から何名の専門家を除去するかを判定する,学習不要なセレクタ非依存手法を提案する。 トークンのゲート重みが均等に広がると、アクティブな専門家の1人がそれをほとんど捨ててしまうため、SPAREはより拡散したルーティングでレイヤーをプーンする。 同じセレクタと予算で、SPAREはMixtral、Qwen3、DeepSeekモデルの均一割り当てよりも平均精度を向上させる。
• 参考スコア（独自算出の注目度）: 13.034690145227204
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) architectures scale model capacity efficiently, yet their substantial memory footprint poses a major barrier to deployment. Expert pruning reduces this footprint, but most methods focus on which experts to remove and prune every layer equally. We propose SPARE (Sparsity Allocation via Routing Entropy), a training-free, selector-agnostic method that decides how many experts to remove from each layer using routing entropy, the entropy of tokens' normalized Top-K gate weights on calibration data. When a token's gate weight is spread evenly, removing one active expert discards little of it, so SPARE prunes layers with more diffuse routing more aggressively. A perturbation bound under random pruning formalizes this intuition, and controlled interventions with a fixed selector link concentrated routing to larger output changes. With the same selector and budget, SPARE improves average accuracy over uniform allocation on Mixtral, Qwen3, and DeepSeek models, especially at high pruning ratios. At 50% expert pruning, it raises the eight-task average of Qwen3-30B-A3B from 57.2% to 63.8%, and the math, code, and science average of DeepSeek-R1 from 80.1 to 82.8.
• Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャはモデルのキャパシティを効率的に拡張するが、そのメモリフットプリントがデプロイメントの大きな障壁となる。 エキスパートプルーニングは、このフットプリントを減らすが、ほとんどのメソッドは、すべてのレイヤを均等に取り除いてプルークする専門家に焦点を当てている。 SPARE (Sparsity Allocation via Routing Entropy) は,キャリブレーションデータに基づくトークンの正規化Top-Kゲート重みのエントロピーであるルーティングエントロピー(ルーティングエントロピー)を用いて,各層から何人の専門家を除去するかを決定する,学習不要でセレクタに依存しない手法である。 トークンのゲートの重みが均等に広がると、アクティブな専門家の1人がそれをほとんど捨ててしまうため、SPAREはより多くの拡散ルーティングを積極的に行う。 ランダムプルーニングの下で束縛された摂動は、この直感を形式化し、固定されたセレクタリンク集中ルーティングによる介入をより大きな出力変化に制御する。 同じセレクタと予算で、SPAREはMixtral、Qwen3、DeepSeekモデルの均一割り当てよりも平均精度を向上する。 50%のプルーニングでは、Qwen3-30B-A3Bの8タスク平均を57.2%から63.8%に引き上げ、DeepSeek-R1の数学、コード、科学の平均を82.8に引き上げている。

関連論文リスト

• Task-Phase-Conditioned Expert Routing Is Not a Reliable Proxy for Quantization Sensitivity in MoE FFN Tensors [4.988842023349942]
  ik_llamaでQwen-3.6-35B-A3Bのルーティングキャプチャとプロファイリングパイプラインを構築した。 我々は,経路エントロピー/決定性,変動係数(CV),ジャカード/位相不安定性,およびトップ1専門家の強度から合成スコアを導出した。 我々は、ルーティングビヘイビア統計が真の層ごとの量子化コストの未検証プロキシであると主張している。
  論文  参考訳（メタデータ） (2026-10-14T19:12:53Z)
• Distributionally Robust Mixture-of-Experts Training [0.554761600419193]
  そこで我々は,レイヤワイドの専門家を内在的ロバスト性グループとして扱うために,DRMoET(Dis Distributionally Robust MoE Training)を提案する。 DRMoETは、EMA-smoothed、Activation-weightedのエキスパート損失に対して、エントロピー規則化されたソフトマックスルールによって、レイヤごとのエキスパート分布を更新する。 メカニカル分析では、平均損失がほとんど変化しない専門家の損失が減少し、4.3%の余剰損失が、強制的なk$のミスルーチンの下で減少し、ドメイン・エキスパートの特殊化が改善した。
  論文  参考訳（メタデータ） (2026-10-05T18:20:02Z)
• When Load-Balancing Goes Too Far: Expert Pruning in Over-Dispersed Mixture-of-Experts Models [14.959514582161956]
  エキスパートプルーニングは、Mixture-of-Experts(MoE)モデルのメモリとサービスコストを削減します。 この仮定は、トークンがほぼ一様に専門家に分散される過分散ルーティングの下で分解されるのを観察する。 筆者らは,現在最も影響の低いドメインに対して,重要度を反復的に向上させるドメイン認識手法であるMinimax Expert Score Allocation (MESA)を提案する。
  論文  参考訳（メタデータ） (2026-09-03T20:21:20Z)
• On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
  Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。 トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
  論文  参考訳（メタデータ） (2026-08-31T06:35:07Z)
• Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。 本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
  論文  参考訳（メタデータ） (2026-08-27T06:01:46Z)
• MAPLE: MoE Adaptive Plug-and-play Layer-wise Expert allocation [8.26092809964631]
  スパースアクティベートされたMixture-of-Experts (MoE) トランスフォーマーは、すべての層にまたがる同じ数のルーティングされた専門家を普遍的に修正する。 我々は,事前訓練されたMOE LLMの層にまたがって,経路付きエキスパート予算を均質に再配置するプラグイン・アンド・プレイ・フレームワークであるMAPLEを提案する。
  論文  参考訳（メタデータ） (2026-08-15T16:10:28Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• MoE-Pruner: Pruning Mixture-of-Experts Large Language Model using the Hints from Its Router [55.88046193872355]
  Mixture-of-Experts (MoE)アーキテクチャは、専門家のメモリ消費や冗長性といった課題に直面している。 入力アクティベーションとルータ重みを乗じて最小の重みを求める手法であるMoE-Prunerを提案する。 我々の刈り取り法は単発であり、再訓練や重み更新は不要である。
  論文  参考訳（メタデータ） (2024-10-15T19:22:27Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)
• Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
  本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
  論文  参考訳（メタデータ） (2020-10-15T09:14:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。