論文の概要: Higher-order pruning of experts in mixture-of-experts language models

• arxiv url: http://arxiv.org/abs/2609.18916v1
• Date: Wed, 16 Sep 2026 16:55:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.899365
• Title: Higher-order pruning of experts in mixture-of-experts language models
• Title（参考訳）: 混合エキスパート言語モデルにおけるエキスパートの高次プルーニング
• Abstract要約: Mixture-of-Experts (MoE)言語モデルは大きなパラメータ数に悩まされる。 既存の手法は、専門家ごとに独立して決定を下し、専門家の貢献は純粋に加法的であると仮定する。 我々は,2次プルーニング目標であるHOPE(Higher-Order Pruning of Experts)を導出し,プルーニングによるエラーの上限を確実に最小化する。
• 参考スコア（独自算出の注目度）: 45.10789956493409
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models suffer from large parameter counts, which create a significant memory bottleneck. Expert pruning is the most direct approach for reducing this parameter count, yet existing methods make pruning decisions for each expert independently, and assume experts' contributions are purely additive. In reality, expert usage in MoEs is inherently cooperative. We derive HOPE (Higher-Order Pruning of Experts), a second-order pruning objective which provably minimizes an upper bound on the error resulting from pruning. We show that REAP (a state-of-the-art first-order pruning method) is a special case of HOPE where interaction terms are ignored. Across three frontier MoE models (up to 122B parameters), two distinct calibration sets, and multiple benchmarks (including math, instruction following, coding, and an agentic suite), we demonstrate that HOPE produces better pruning decisions than existing methods, and its advantage is most pronounced at high pruning rates and on challenging agentic workloads. At 50% pruning, HOPE outperforms all baselines and achieves an average rank of 1.58 out of 5 methods (versus 2.42 for the next-best method, REAP), with gains of up to +6.1% on agentic coding. Over all conditions, HOPE again achieves the best average rank and surpasses every other method in the majority of head-to-head comparisons. By preserving cooperative expert structure that first-order methods ignore, HOPE enables aggressive compression with minimal degradation, particularly on complex tasks where diverse expert combinations are invoked over long sequences.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは大きなパラメータ数に悩まされ、メモリボトルネックが著しく発生する。 エキスパートプルーニングは、このパラメータ数を減少させる最も直接的なアプローチであるが、既存の手法は、専門家ごとに個別にプルーニング決定を行い、専門家の貢献は純粋に加法的であると仮定する。 実際には、専門家によるMoEsの使用は本質的に協力的である。 我々は,2次プルーニング目標であるHOPE(Higher-Order Pruning of Experts)を導出し,プルーニングによるエラーの上限を確実に最小化する。 本稿では,REAP (State-of-the-art first-order pruning method) が,相互作用項を無視するHOPEの特殊なケースであることを示す。 3つのフロンティアMoEモデル(最大122Bパラメータ)、2つの異なるキャリブレーションセット、および複数のベンチマーク(数学、命令追従、コーディング、エージェントスイートを含む)において、HOPEが既存の手法よりも優れたプルーニング決定を生成することを示し、その利点は高いプルーニング率と挑戦的なエージェントワークロードにおいて最も顕著である。 50%のプルーニングで、HOPEは全てのベースラインを上回り、5つのメソッドのうち平均1.58のランク(次のベストメソッドは2.42、REAP)を達成し、エージェントコーディングでは最大で6.1%のゲインを得た。 すべての条件において、HOPEは再び最高の平均ランクを獲得し、ヘッド・ツー・ヘッド比較の多数で他のすべての手法を上回ります。 1次メソッドが無視する協調的な専門家構造を保存することで、HOPEは最小限の劣化を伴う攻撃的な圧縮を可能にし、特に長いシーケンスで多様な専門家の組み合わせが呼び出される複雑なタスクにおいて。

関連論文リスト

• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• Slicing and Dicing: Configuring Optimal Mixtures of Experts [49.5613403644084]
  本研究は,最大6.6Bのパラメータにまたがる2000以上の事前学習走行に関する最初の系統的研究である。 私たちは、全体専門家、専門家の次元、単一層内の異種の専門家サイズ、共有専門家サイズ、ロードバランシングメカニズムを徹底的に変化させています。 専門家の数え方と粒度に焦点を合わせ、その他の選択肢は最終品質に最小限の影響を与える。
  論文  参考訳（メタデータ） (2026-05-12T07:47:22Z)
• REAP the Experts: Why Pruning Prevails for One-Shot MoE compression [5.517309667435783]
  専門家の刈り取りは、生成タスクにおいて優れた戦略であることを示す。 ルータ重み付きエキスパートアクティベーション・プルーニング(REAP)を提案する。 提案手法は,Qwen3-Coder-480B と Kimi-K2 を用いて,コード生成およびツール呼び出しタスクの無作為な圧縮を実現する。
  論文  参考訳（メタデータ） (2025-10-15T18:29:28Z)
• HEAPr: Hessian-based Efficient Atomic Expert Pruning in Output Space [12.872890364287345]
  HEAPrは、専門家を小さく、識別不能な原子エキスパートに分解する、新しい刈り取りアルゴリズムである。 これは、原子専門家の固有の特性を利用して、2階の情報を専門家パラメータから原子専門家パラメータに変換する。 これは、様々な圧縮率とベンチマークで、既存のエキスパートレベルのプルーニング手法よりも優れています。
  論文  参考訳（メタデータ） (2025-09-26T13:00:46Z)
• Dropping Experts, Recombining Neurons: Retraining-Free Pruning for Sparse Mixture-of-Experts LLMs [54.95810313530111]
  DERNは、専門家のプルーニングと再構築のためのタスク非依存でトレーニングなしのフレームワークである。 コモンセンス推論やMMLUベンチマークでは、50%のエキスパートスパシティでパフォーマンスを5%以上向上させる。
  論文  参考訳（メタデータ） (2025-09-12T16:09:39Z)
• One Shot vs. Iterative: Rethinking Pruning Strategies for Model Compression [22.528739000744782]
  プルーニング(Pruning)は、ニューラルネットワークを圧縮して効率を向上させる技術である。 ワンショットプルーニングと反復プルーニングは、このプロセスに対する2つのアプローチである。 本研究では, 単発プルーニングが低いプルーニング比で有効であるのに対して, 反復プルーニングは高い比率でより良い性能を示すことを示す。
  論文  参考訳（メタデータ） (2025-08-19T13:57:10Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。