論文の概要: Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models

• arxiv url: http://arxiv.org/abs/2610.27123v1
• Date: Mon, 19 Oct 2026 18:24:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.454364
• Title: Reconstruction-Optimized Expert Pruning for Mixture-of-Experts Language Models
• Title（参考訳）: 実験用混合言語モデルのための再構成最適化エキスパートプルーニング
• Abstract要約: Mixture-of-Experts(MoE)モデルは、スパースの専門家アクティベーションによる計算を削減しますが、デプロイには多くの専門家パラメータを格納する必要があります。 本研究では,サブセット選択問題としてタスク領域のキャリブレーションデータを用いた訓練後プルーニングについて検討する。 我々は、専門家選択変数を直接微分可能なスケーラブルな継続的緩和であるOpsEPを開発し、その後、保持された専門家重みの軽量な再構築ベースの更新を行った。
• 参考スコア（独自算出の注目度）: 25.443829007522776
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) models reduce computation through sparse expert activation, but deployment still requires storing a large number of expert parameters. We study post-training expert pruning using task-domain calibration data as a subset-selection problem: given a pretrained MoE layer, select a fixed number of experts that best reconstruct its original output. Exact subset search is combinatorial and becomes intractable for modern MoE models with many experts per layer. We develop OptEP, a scalable continuous relaxation that directly optimizes differentiable expert-selection variables, followed by a lightweight reconstruction-based update of the retained expert weights. Across multiple MoE architectures and tasks spanning mathematical reasoning and code generation, our approach improves over the strongest existing expert-pruning baselines, with absolute accuracy gains of up to 15.05% on Qwen3-30B-A3B, 14.55% on Qwen3-235B-A22B, 11.06% on GLM-4.5-Air, and 16.20% on Mixtral-8x7B. The improvements are particularly pronounced under aggressive pruning, demonstrating that reconstruction-driven expert selection and weight adaptation can preserve substantially more of the original model's performance while reducing the number of retained experts.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、スパースの専門家アクティベーションによる計算を削減しますが、デプロイには多くの専門家パラメータを格納する必要があります。 本研究では,タスク領域のキャリブレーションデータをサブセット選択問題として用いた訓練後のエキスパートプルーニングについて検討する。 厳密な部分集合探索は組合せ的であり、層ごとに多くの専門家を持つ現代のMoEモデルでは難解となる。 我々は、異なる専門家選択変数を直接最適化するスケーラブルな継続的緩和であるOpsEPを開発し、その後、保持された専門家重みの軽量な再構築ベースの更新を行った。 Qwen3-30B-A3Bで最大15.05%、Qwen3-235B-A22Bで14.55%、GLM-4.5-Airで11.06%、Mixtral-8x7Bで16.20%の精度向上を実現した。 この改良は、特に積極的プルーニング(英語版)の下で顕著に発音され、復元駆動のエキスパート選択と重量適応により、元のモデルの性能を大幅に向上し、保持された専門家の数を削減できることを示した。

関連論文リスト

• Redundancy Meets Synergy: Dependency-aware Expert Selection for MoE via Submodular Optimization [61.27524718261322]
  そこで我々は,DS-MoEを提案する。DS-MoEは,サブモジュールの差分最適化により,専門家の選択をナビゲートする理論的基盤を持つフレームワークである。 DS-MoEは必須のエキスパートの組み合わせを効果的に保存し,最先端のベースラインよりも優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2026-09-30T18:33:27Z)
• MoRA: MoE Pruning via Router Bias Learning and Expert Approximation [40.52010351312256]
  Mixture-of-Experts (MoE)モデルはトークンごとに少数の専門家のみをアクティベートすることで、トークン当たりの限られた計算でパラメータスケーリングを可能にする。 我々は、構造化されたMoEエキスパートプルーニングのためのフレームワークであるMoRA(Reuter Bias Learning and Expert Approximation)を提案する。
  論文  参考訳（メタデータ） (2026-09-30T06:38:43Z)
• BASE: Batch-Aware Selection of Experts Using Predicted Removal Error for Efficient MoE Decoding [13.806111695734716]
  大規模言語モデルはますます高価になる。 大規模サービスシステムでは、モデル重みの転送によって自己回帰復号化がボトルネックとなることが多い。 入力トークン毎のエキスパート除去コストを推定する軽量線形予測器を開発した。
  論文  参考訳（メタデータ） (2026-09-28T20:20:13Z)
• EAT: Expert Account Tracker for Efficient MoE Inference [32.61657656021244]
  Mixture-of-Experts (MoE)モデルは、Transformerモデルをスケールするための革命的な方法として登場した。 従来のMoEアーキテクチャは、多くの専門家が不必要にアクティベートされているため、依然として非効率に悩まされている。 重要な専門家を動的に選別するエキスパートアカウントトラッカー(EAT)を提案する。
  論文  参考訳（メタデータ） (2026-09-27T14:28:53Z)
• You Only Need 2/3 of the Chosen Experts: An Empirical Study of Dynamic Expert Pruning in Fine-Grained MoE LLMs [26.649134312131128]
  専門家の選択は、フィールドの操作ポイントが想定するよりもはるかに冗長である。 また、動的アロケーションは保守的な予算で動的アロケーションする余地がほとんどないこともわかりました。
  論文  参考訳（メタデータ） (2026-09-22T07:39:35Z)
• From Experts to Sub-experts: Fine-grained Parameter-Efficient Fine-Tuning for MoE LLMs [54.56613868885818]
  サブエキスパートレベルの適応は、大規模言語モデルのためのより正確で効率的なPEFTパラダイムである。 Neural Sub-expert Fine-Tuningは、専門家からサブエキスパートへのMoE適応を洗練させる微細なPEFTフレームワークである。
  論文  参考訳（メタデータ） (2026-09-22T04:04:53Z)
• OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit [34.38277579500318]
  Mixture-of-Experts(MoE)モデルは、大規模な言語モデルの効率的なスケーリングを可能にするが、大規模なメモリ要求のため、重要なデプロイメント課題に直面している。 我々は,OMP-MoEを提案する。OMP-MoEは,MOEベースのLLMにおいて,専門家の冗長性を低減できる新しいトレーニングフリー圧縮フレームワークである。 Qwen、DeepSeek-V2、GPT-OSS、Mixtral MoEの総合的な実験では、既存の方法よりも25～50%のプルーニング比で一貫した改善が示された。
  論文  参考訳（メタデータ） (2026-09-09T08:01:34Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。