Fugu-MT 論文翻訳(概要): OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit

論文の概要: OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit

arxiv url: http://arxiv.org/abs/2609.31631v2
Date: Tue, 29 Sep 2026 17:32:18 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-05 14:48:16.137509
Title: OMP-MoE: Efficient Expert Pruning for Mixture-of-Experts LLMs via Orthogonal Matching Pursuit
Title（参考訳）: OMP-MoE: 直交整合型LLMの効率的なエキスパートプランニング
Abstract要約: Mixture-of-Experts(MoE)モデルは、大規模な言語モデルの効率的なスケーリングを可能にするが、大規模なメモリ要求のため、重要なデプロイメント課題に直面している。我々は,OMP-MoEを提案する。OMP-MoEは,MOEベースのLLMにおいて,専門家の冗長性を低減できる新しいトレーニングフリー圧縮フレームワークである。 Qwen、DeepSeek-V2、GPT-OSS、Mixtral MoEの総合的な実験では、既存の方法よりも25～50%のプルーニング比で一貫した改善が示された。
参考スコア（独自算出の注目度）: 34.38277579500318
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixture-of-Experts (MoE) models enable efficient scaling of large language models but face critical deployment challenges due to massive memory requirements. Existing pruning methods either incur prohibitive search costs or neglect the dynamic interdependencies between experts. To address these challenges, we present OMP-MoE, a novel training-free compression framework for reducing expert redundancy in MoE-based LLMs. Based on observations of expert contribution patterns, we reformulate the pruning problem as a sparse signal reconstruction task solved through Orthogonal Matching Pursuit. Specifically, our method first treats individual expert contributions as dictionary atoms and selects experts that greedily minimize reconstruction error with linear computational complexity. Then, we optimize cross-layer expert allocation through a water-filling strategy that accounts for both reconstruction quality and routing stability. Finally, we introduce OMP-MoE†, an adaptive inference mechanism that dynamically adjusts expert activation based on energy prediction. Comprehensive experiments on Qwen, DeepSeek-V2, GPT-OSS, and Mixtral MoE demonstrate consistent improvements over existing methods at 25-50% pruning ratios. For Qwen3-30B-A3B at 50% compression, we retain 93.3% of original performance, achieving 33$\times$ faster search and 1.55$\times$ inference speedup. Codes will be available after acceptance.
Abstract（参考訳）: Mixture-of-Experts(MoE)モデルは、大規模な言語モデルの効率的なスケーリングを可能にするが、大規模なメモリ要求のため、重要なデプロイメント課題に直面している。既存のプルーニング手法は、違法な検索コストを発生させるか、専門家間の動的相互依存を無視する。これらの課題に対処するため,我々は,OMP-MoEを提案する。専門家によるコントリビューションパターンの観察に基づいて,直交マッチングによるスパース信号再構成タスクとして,プルーニング問題を再構成する。具体的には、まず個々の専門家の貢献を辞書原子として扱い、線形計算複雑性による再構成誤差を極端に最小化する専門家を選択する。そして,再生品質と経路安定性の両方を考慮に入れた給水戦略により,層間専門家の配置を最適化する。最後に、エネルギー予測に基づいて専門家のアクティベーションを動的に調整する適応型推論機構であるOMP-モリを紹介する。 Qwen、DeepSeek-V2、GPT-OSS、Mixtral MoEの総合的な実験では、既存の方法よりも25～50%のプルーニング比で一貫した改善が示された。 Qwen3-30B-A3Bの50%圧縮では、元の性能の93.3%を保持し、33$\times$高速検索と1.55$\times$推論スピードアップを達成した。コードは受理後利用可能。

関連論文リスト

Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文参考訳（メタデータ） (2026-06-16T06:53:27Z)
LightMoE: Reducing Mixture-of-Experts Redundancy through Expert Replacing [45.54173919316335]
本稿では,エキスパートリプレースという新しい圧縮パラダイムを提案する。冗長な専門家をパラメータ効率のよいモジュールに置き換え、低いトレーニングコストでその能力を回復する。実験結果から,LightMoEはLoRAファインチューニングの性能を30%圧縮比で比較した。
論文参考訳（メタデータ） (2026-03-13T04:33:08Z)
MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
論文参考訳（メタデータ） (2025-10-13T03:12:46Z)
MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE [12.498106165046233]
Mixture-of-Experts (MoE)は、入力トークンごとに専門家のサブセットだけを活性化することにより、大規模言語モデルの効率的なスケーリングを可能にする。 MoNEは冗長な専門家を軽量な初心者に置き換え、効果的で堅牢なモデル圧縮を実現する。
論文参考訳（メタデータ） (2025-07-01T03:02:59Z)
HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
論文参考訳（メタデータ） (2024-11-03T04:25:46Z)
Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
論文参考訳（メタデータ） (2024-10-08T18:09:38Z)
AdapMoE: Adaptive Sensitivity-based Expert Gating and Management for Efficient MoE Inference [13.263938935671646]
AdapMoEは、効率的なMoE推論のためのアルゴリズムとシステムの共同設計フレームワークである。 AdapMoEは、オンデマンドのロードオーバーヘッドを減らすために、アダプティブなエキスパートゲーティングと管理機能を備えている。 AdapMoEは既存の技術より一貫して優れており、アクティベートされた専門家の平均数が25%減少し、精度を低下させることなく1.35倍のスピードアップを実現している。
論文参考訳（メタデータ） (2024-08-19T03:27:15Z)
SEER-MoE: Sparse Expert Efficiency through Regularization for Mixture-of-Experts [49.01990048827639]
本稿では,事前学習したMoEモデルのメモリフットプリントと計算要求の両方を削減するためのフレームワークSEER-MoEを紹介する。第1段階では、ヘビーヒッターズカウントガイダンスを使用して専門家の総数を計算し、第2段階では、正則化に基づく微調整戦略を使用して精度の低下を回復する。実験により,提案手法の有効性を実証し,精度のトレードオフを最小限に抑えた推論効率に最適化したMoEsモデルを試作した。
論文参考訳（メタデータ） (2024-04-07T22:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。