論文の概要: How to Score Experts for One-Shot MoE Expert Pruning: A Unified Formulation and Selection Principle

• arxiv url: http://arxiv.org/abs/2606.15716v1
• Date: Sun, 14 Jun 2026 10:07:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-16 16:21:33.805739
• Title: How to Score Experts for One-Shot MoE Expert Pruning: A Unified Formulation and Selection Principle
• Title（参考訳）: ワンショットMOEエキスパート育成のためのエキスパートのスコア付け方法:統一的な定式化と選択の原則
• Abstract要約: Mixture-of-Experts (MoE)言語モデルは、スパース専門家のアクティベーションによって、トーケン当たりのコストを削減します。 ワンショットのエキスパートプルーニングは、メモリ使用量を減らすための実践的なアプローチである。 我々は,ルーティング周波数,ゲート重み付け,アクティベーション強度の3つの要因から構成した,ワンショットMOEエキスパートプルーニングのための統一的な定式化を導入する。
• 参考スコア（独自算出の注目度）: 15.23646974943185
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) language models reduce per-token computation through sparse expert activation, yet deployment still requires storing the full expert pool, making one-shot expert pruning a practical approach for reducing memory usage. Although effective, existing criteria are largely heuristic, and no single criterion is universally optimal. Thus, establishing a principle for selecting pruning criteria suited to different deployment objectives remains an important yet largely underexplored problem in one-shot expert pruning. To this end, we introduce a unified formulation for one-shot MoE expert pruning organized around three factors: routing frequency, gate weighting, and activation strength. The formulation yields a criteria selection principle: task-agnostic pruning should favor routed-token-averaged, gate-free activation-based criteria, whereas task-specific pruning can benefit from retaining routing-frequency and gate-weight information. Beyond this principle, the formulation also provides a systematic view of existing heuristic criteria and gives rise to two new task-agnostic criteria, Mean Activation Norm (MAN) and Mean Squared Activation Norm (MSAN). Across four representative MoE models and 16 diverse benchmarks, MAN and MSAN are consistently strong in the task-agnostic setting, obtain the top-two average ranks, and improve average performance by up to 8.8 points over the strongest baseline.
• Abstract（参考訳）: Mixture-of-Experts(MoE)言語モデルは、スパース専門家アクティベーションを通じてトーケン毎の計算を削減しますが、デプロイには完全なエキスパートプールを保存する必要があります。 有効ではあるが、既存の基準は概してヒューリスティックであり、単一の基準は普遍的に最適ではない。 このように、異なるデプロイメント目標に適したプルーニング基準を選択するための原則を確立することは、ワンショットのエキスパートプルーニングにおいて重要であるが、ほとんど探索されていない問題である。 この目的のために、ルーティング周波数、ゲート重み付け、アクティベーション強度の3つの要因から構成されたワンショットMOEエキスパートプルーニングの統一的な定式化を導入する。 タスクに依存しないプルーニングは、ルーティング周波数とゲートウェイト情報を保持する利点があるのに対し、ゲートフリーなアクティベーションベースの基準を優先すべきである。 この原則以外にも、この定式化は既存のヒューリスティックな基準の体系的な見解を提供し、平均的活動ノルム(MAN)と平均方形活動ノルム(MSAN)という2つの新しいタスクに依存しない基準を生み出している。 4つの代表的MoEモデルと16の多様なベンチマークのうち、MANとMSANはタスクに依存しない環境で一貫して強力であり、上位2つの平均ランクを獲得し、最強のベースラインに対して8.8ポイントまで平均性能を向上させる。

関連論文リスト

• Residual-Guided Randomized Neural Networks [7.698602367824994]
  ランダム化されたニューラルネットワークは、隠れた層パラメータへの入力をランダムに固定し、出力重みをクローズドな形式で学習することで、高速で分析可能なトレーニングを可能にする。 本稿では, 隠蔽層を閉鎖型残留劣化基準を用いてグリード的に構築する, 簡易かつ広範に適用可能な残留ガイド法を提案する。 提案した残差誘導モデルが,精度,安定性,総合ランク付け性能において,ベースラインモデルよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-08-28T12:30:08Z)
• Selective Ensemble Based on Preference-Directed Multi-Objective Bandits [90.75513823660775]
  我々は、部分的に指定された線形選好の下で逐次決定問題を定式化する。 次に、嗜好指向の高信頼度境界(PrefUCB)アルゴリズムを提案する。 大規模な事前学習型モデル選択アンサンブルタスクと,機関委任下でのオンラインアセットアロケーションの実験により,本手法が検証された。
  論文  参考訳（メタデータ） (2026-06-20T07:52:46Z)
• TAME: Test-Time Adversarial Prompt Tuning via Mixture-of-Experts for Vision-Language Models [76.92890872338235]
  大規模事前学習型ビジョンランゲージモデル(VLM)は、強いゼロショット一般化を示すが、知覚不能な逆方向の摂動に対して非常に脆弱である。 ダウンストリームタスク固有のリトレーニングを必要とせずに堅牢性を高めるため,新しいテストタイムディフェンスであるTAMEを提案する。
  論文  参考訳（メタデータ） (2026-05-17T18:07:08Z)
• AIMER: Calibration-Free Task-Agnostic MoE Pruning [12.732331870876182]
  簡単なキャリブレーションフリーの基準であるAIMERを導入する。 7Bから30B MoE言語モデル全体の25%と50%のプルーニング比率を16ベンチマークで比較すると、AIMERは一貫して、競争力のある、あるいはより強い全体的なパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2026-03-19T04:54:37Z)
• CE-RM: A Pointwise Generative Reward Model Optimized via Two-Stage Rollout and Unified Criteria [48.70940362676624]
  専用の2段階ロールアウト法を用いて学習したポイントワイズ生成報酬モデルCE-RM-4Bを提案する。 オープンソースの選好データセットから算出した約5.7Kの高品質データを用いて、CE-RM-4Bは様々な報奨モデルベンチマークにおいて優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-01-28T07:46:13Z)
• Conformal Prediction Beyond the Seen: A Missing Mass Perspective for Uncertainty Quantification in Generative Models [20.810300785340072]
  Conformal Prediction with Query Oracle (CPQ)は、これらの目的間の最適な相互作用を特徴付けるフレームワークである。 本アルゴリズムは2つの基本原理に基づいて構築されている。一方は最適なクエリポリシーを規定し、他方はクエリされたサンプルから予測セットへの最適マッピングを定義する。
  論文  参考訳（メタデータ） (2025-06-05T18:26:14Z)
• Bounded Rationality for LLMs: Satisficing Alignment at Inference-Time [52.230936493691985]
  本稿では,2次基準のしきい値に基づく制約を満たしつつ,主目的を最大化し,アライメントの多面性に対処する推論フレームワークSITAlignを提案する。 我々は、満足度に基づく推論アライメントアプローチの準最適境界を導出することで理論的洞察を提供する。
  論文  参考訳（メタデータ） (2025-05-29T17:56:05Z)
• Symbolic Mixture-of-Experts: Adaptive Skill-based Routing for Heterogeneous Reasoning [76.10639521319382]
  シンボリックなテキストベースでグラデーションのないMixture-of-ExpertsフレームワークであるSybolic-MoEを提案する。 GPT4o-miniのような強力なLCMやマルチエージェントアプローチに勝るSymbolic-MoEは、最高のマルチエージェントベースラインよりも8.15%向上している。
  論文  参考訳（メタデータ） (2025-03-07T18:03:13Z)
• How to Prune Your Language Model: Recovering Accuracy on the "Sparsity May Cry'' Benchmark [60.72725673114168]
  下流データセットの微調整中における正確なBERTプルーニングの問題を再考する。 そこで我々は,SMCベンチマークの挑戦においても,プルーニングを成功させるための一般的なガイドラインを提案する。
  論文  参考訳（メタデータ） (2023-12-21T03:11:30Z)
• Hitting the Target: Stopping Active Learning at the Cost-Based Optimum [1.1756822700775666]
  アクティブな学習は、従来の完全教師付き学習と同じようなパフォーマンスを維持しながら、ラベルの少ない機械学習モデルをトレーニングすることを可能にする。 本論文は,実世界のシナリオで使用する基準の停止について,実践者に対して実行可能なアドバイスを初めて行ったものである。 本研究は, 停止基準の大規模比較として, 精度・ラベルトレードオフの定量化のためのコスト尺度, 評価したすべての停止基準の公開実装, 停止基準の評価のためのオープンソースフレームワークを用いた。
  論文  参考訳（メタデータ） (2021-10-07T21:33:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。