論文の概要: What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning

• arxiv url: http://arxiv.org/abs/2610.41366v1
• Date: Fri, 30 Oct 2026 07:31:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.64459
• Title: What We Keep of What We Forget: Replacement Operators and Routing Semantics in Training-Free MoE Expert Pruning
• Title（参考訳）: トレーニング不要のMoEエキスパートプランニングにおけるリプレースオペレータとルーティングセマンティックス
• Abstract要約: トレーニングなしのエキスパートプルーニングは、どの専門家を排除すべきか、どのレイヤが計算するかという2つの決定をします。 我々は、OLMoE、DeepSeek-V2-Lite、Moonlightの3つのファミリーの代替事業者を、Graniteを4番目のルータとして比較した。 ここでは,0 のランクが MoNE の定数であるプルーンドエキスパートの入力の閉形式の低ランク写像である傾き初心者を紹介する。
• 参考スコア（独自算出の注目度）: 0.928632277726947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training-free expert pruning makes two decisions: which experts to remove, and what the layer computes when its router still selects a removed expert. Published methods change both at once. Holding the mask fixed, we compare replacement operators from three families on OLMoE, DeepSeek-V2-Lite and Moonlight, with Granite as a fourth router, using paired, multiplicity-corrected tests. The largest effect is a choice usually left implicit: the survivors' gate scale. On routers trained without top-k renormalization, renormalizing the survivors' gates, a common implementation choice, costs 0.8-8.5 points and reverses whether rerouting beats MoNE's mean-output replacement; on two routers trained with renormalization, the trained scale wins at 50% pruning. We introduce the tilted novice, a closed-form low-rank map of the pruned expert's input whose rank-0 case is MoNE's constant. At 50% pruning it adds 1.2-1.8% parameters and gains 3.45 and 1.37 points over the constant on OLMoE and Moonlight, stable across calibration draws and largely unchanged by 4- and 3-bit quantization. No operator dominates: trained-scale rerouting is best on DeepSeek-V2-Lite, and a partial copy of each pruned expert is statistically indistinguishable from the tilted novice on two models. Evaluation can change conclusions: at 25% pruning MoNE's constant keeps 92-97% of dense multiple-choice accuracy but only 5-65% of GSM8K and 0-17% of code scores, and the calibration domain moves the mask 4-9 times more than resampling. We propose a five-item reporting checklist.
• Abstract（参考訳）: トレーニング不要のエキスパートプルーニングは、どの専門家を削除すべきか、ルータがまだ専門家を削除しているときにどの層が計算するか、という2つの決定を行います。 発行されたメソッドは、両方を同時に変更する。 マスクを固定すると、OLMoE、DeepSeek-V2-Lite、Moonlightの3つのファミリーの代替演算子と、Graniteを4番目のルータとして、ペアで多重性補正テストを用いて比較する。 最大の効果は、通常暗黙に残る選択であり、生存者の門の大きさである。 トップkの再正規化なしに訓練されたルータ、生存者のゲートの再正規化、一般的な実装選択は0.8-8.5ポイントの費用で、再帰がMoNEの平均出力の置き換えに勝っているかどうかを逆転させ、再正規化で訓練された2つのルータでは、トレーニングされたスケールが50%のプルーニングで勝利する。 ここでは,0 のランクが MoNE の定数であるプルーンドエキスパートの入力の閉形式の低ランク写像である傾き初心者を紹介する。 50%のプルーニングで1.2-1.8%のパラメータを追加し、OLMoEとMoonlightの定数で3.45点と1.37点を獲得し、キャリブレーションドローで安定し、4ビットと3ビットの量子化でほとんど変化しない。 訓練されたスケールのリルーチンはDeepSeek-V2-Liteで最良であり、各プルーンドエキスパートの部分コピーは2つのモデルで傾いた初心者と統計的に区別できない。 25%のプルーニングでMoNEの定数は92-97%の密度の多重選択精度を維持するが、GSM8Kの5-65%と0-17%のコードスコアしか保持せず、キャリブレーション領域はマスクを再サンプリングの4-9倍の速度で移動させる。 本稿では,5項目のレポートチェックリストを提案する。

関連論文リスト

• MaskCoFT: Masked Co-Adaptive Fine-Tuning for Memory-Efficient MoE Inference [17.718564947470906]
  MaskCoFTは、クロスエントロピー損失だけでルーターとエキスパートを訓練する。 トークン単位のエキスパートフェッチを23.7%、ベースモデルに対して10.1%削減する。 9つのベンチマークの平均精度は、ベースモデルよりも0.92と0.53ポイント高い。
  論文  参考訳（メタデータ） (2026-09-28T01:12:30Z)
• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Meta-Learning Where to Allocate Experts: Task-Conditioned Layer-Wise Compression for MoEs [8.622261628194893]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家ネットワークのサブセットにルーティングし、トークンごとのスパースを維持しながらキャパシティを増大させる。 本稿では,各レイヤに対して,専門家保持閾値と有界ルーティングバイアスを予測可能なサポートセットコントローラであるMetaNetを提案する。
  論文  参考訳（メタデータ） (2026-08-27T06:01:46Z)
• Router Sensitivity Under Lightweight Fine-Tuning Identifies Prunable Experts in Mixture-of-Experts Models [3.747647072414422]
  Mixture-of-Experts(MoE)モデルは、トーケン毎の計算から合計パラメータを分離するが、それでもデプロイにはすべての専門家を保存する必要がある。 最近の理論では、微調整中に最小のルータノルム変化を持つプルーニングの専門家は精度を維持することができるが、完全な微調整を前提としている。 軽量適応がこの信号を回復できるかどうかを検証する。
  論文  参考訳（メタデータ） (2026-08-08T03:36:41Z)
• Half the Experts, All the Code: One-Shot Domain Pruning of Mixture-of-Experts LLMs for Coding [0.0]
  オープンウェイトコーディングモデルは、Mix-of-experts (MoE)ネットワークである。 その大きさの大半は「エキスパート」ワークの大きなプールから来ています。 専門家のプルーニングは機能しますが、モデルが実際に機能するタスクに対して、モデルごとのバリデーションが必要です。
  論文  参考訳（メタデータ） (2026-07-18T09:17:41Z)
• From Score Distributions to Balance: Plug-and-Play Mixture-of-Experts Routing [52.01745035243826]
  Mixture-of-Experts (MoE)モデルは、各トークンを専門家のサブセットにルーティングすることで、パラメータキャパシティをスケールすることができる。 条件付きルーティングは、推論メモリの負荷をシフトし、デバイスごとに専門家の数を制限する。 本稿では,精度を保ちながら負荷のバランスをとるプラグイン・アンド・プレイ型推論時ルーティングアルゴリズムLASERを提案する。
  論文  参考訳（メタデータ） (2025-09-29T16:29:17Z)
• KurTail : Kurtosis-based LLM Quantization [51.24081396305435]
  KurTailは、大規模言語モデルのアクティベートにおいて、アウトレーヤを緩和する、新しいトレーニング後の量子化スキームである。 MMLUの精度は13.3%向上し、Wikiの難易度はQuaRotに比べて15.5%低下している。 また、SpinQuantを2.6%のMMLUゲインで上回り、パープレキシティを2.9%削減し、トレーニングコストを削減した。
  論文  参考訳（メタデータ） (2025-03-03T12:43:06Z)
• MAgICoRe: Multi-Agent, Iterative, Coarse-to-Fine Refinement for Reasoning [80.15393178083607]
  大規模言語モデル(LLM)推論は、テストタイムアグリゲーション戦略、すなわち、複数のサンプルを生成し、生成されたサンプル間で投票することで改善することができる。 Refinementは、LLM生成したフィードバックを使ってソリューションの品質を改善する方法を提供する。 本稿では,問題の難易度を,難易度や難易度に分類することで,過度な改善を回避するMagICoReを提案する。
  論文  参考訳（メタデータ） (2024-09-18T17:12:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。