論文の概要: MoRA: MoE Pruning via Router Bias Learning and Expert Approximation

• arxiv url: http://arxiv.org/abs/2610.00367v1
• Date: Wed, 30 Sep 2026 06:38:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.622163
• Title: MoRA: MoE Pruning via Router Bias Learning and Expert Approximation
• Title（参考訳）: MoRA: ルータバイアス学習とエキスパート近似によるMoEプルーニング
• Abstract要約: Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家のみをアクティベートすることで、トークン当たりの限られた計算でパラメータスケーリングを可能にする。 我々は、構造化されたMoEエキスパートプルーニングのためのフレームワークであるMoRA(Reuter Bias Learning and Expert Approximation)を提案する。
• 参考スコア（独自算出の注目度）: 40.52010351312256
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models enable parameter scaling with limited per-token computation by activating only a small subset of experts for each token, but deploying them still requires loading the complete expert pool into memory. Structured expert pruning can effectively reduce the memory usage by removing experts. However, existing pruning methods either use expert ranking criteria that are not well aligned with model performance or rely on effective expert subset searching that is computationally expensive. Moreover, these methods typically overlook the routing-behavior redundancy among the retained experts. In this paper, we propose MoE Pruning via Router Bias Learning and Expert Approximation (MoRA), a framework for structured MoE expert pruning. We introduce a learnable router bias for each expert and optimize these biases by minimizing the language-modeling loss and a routing-diversity regularizer. The learned router biases sharpen the routing probability distributions to identify experts critical to model performance while encouraging the selection of experts with diverse routing preferences. In addition, we introduce an expert approximation mechanism as a post-pruning enhancement. It leverages the remaining experts to approximate the outputs of pruned experts by affine transformation, further improving the performance of the pruned model. We evaluate MoRA on Qwen3-30B-A3B, DeepSeek-V2-Lite, and Moonlight-16B-A3B, removing 25\% and 50\% of the routed experts in each MoE layer. Extensive experiments on nine zero-shot benchmarks show that MoRA outperforms state-of-the-art pruning algorithms. Our code will be released.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、トークンごとに少数の専門家のみをアクティベートすることで、トークン当たりの限られた計算でパラメータスケーリングを可能にするが、それでも完全なエキスパートプールをメモリにロードする必要がある。 構造化されたエキスパートプルーニングは、専門家を取り除くことでメモリ使用量を効果的に削減できる。 しかし、既存のプルーニング手法では、モデルの性能によく一致しない専門家のランキング基準を使うか、計算に高価である効果的な専門家のサブセット探索に頼るかのいずれかである。 さらに、これらの手法は、保持された専門家の間でのルーティングの振る舞いの冗長性を見落としているのが一般的である。 本稿では、構造化されたMoEエキスパートプルーニングのためのフレームワークであるMoRA(Reuter Bias Learning and Expert Approximation)を提案する。 本稿では,各専門家に学習可能なルータバイアスを導入し,言語モデル損失を最小限に抑え,ルーティング多様性レギュレータを最小化することにより,これらのバイアスを最適化する。 学習したルータバイアスは、ルーティング確率分布を鋭くし、パフォーマンスをモデル化する上で重要な専門家を特定し、多様なルーティング好みを持つ専門家の選定を奨励する。 さらに, プレニング後の拡張として, 専門家近似機構を導入する。 残りの専門家を活用して、アフィン変換によりプルーニングされた専門家の出力を近似し、プルーニングされたモデルの性能をさらに向上する。 我々は,Qwen3-30B-A3B,DeepSeek-V2-Lite,Moonlight-16B-A3B上でMoRAを評価し,各MoE層にルーティングされた専門家の25～50%を除去した。 9つのゼロショットベンチマークの大規模な実験は、MoRAが最先端のプルーニングアルゴリズムより優れていることを示している。 私たちのコードは解放されます。

関連論文リスト

• Share First, Route What Remains: A Unified Framework for Token-Adaptive MoE Computation [49.8459545291965]
  Mixture-of-experts (MoE)モデルは、最近、一定数の完全なエキスパートをルーティングする以上の動きをしている。 我々は、この依存度を、わずかにリサイクルされたフィードフォワードの専門家をキーバリューチャネルに分解することで研究する。 トークン適応型MoE計算のための統一フレームワークであるUniF-MoEでインスタンス化する。
  論文  参考訳（メタデータ） (2026-08-11T02:40:58Z)
• Elbow-Based MoE Routing: A Training-Free Inference Time Plugin for Expert Selection [0.0]
  Mixture-of-Experts (MoE)モデルは、低推論時間計算を維持しながらモデルスケーリングを可能にする。 我々は,訓練不要な推論時間修正である肘ベースのルーティングを導入し,一人あたりのエキスパート数を動的に調整する。 最先端のMoEモデルの実験では、6つのベンチマークで精度を維持しながら平均遅延時間を5.3%削減した。
  論文  参考訳（メタデータ） (2026-08-05T03:10:17Z)
• DirMoE: Dirichlet-routed Mixture of Experts [26.759827562919725]
  Mixture-of-Experts (MoE)モデルは大規模言語モデルでは例外的な性能を示した。 既存のルータは、通常、微分不可能なTop-$k$+Softmaxに依存し、パフォーマンスとスケーラビリティを制限している。 ディリクレ変分オートエンコーダフレームワーク上に構築された,新しいエンドツーエンドの微分可能なルーティング機構であるDirichlet-Routed MoEを紹介する。
  論文  参考訳（メタデータ） (2026-02-09T18:45:43Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。