論文の概要: GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning

• arxiv url: http://arxiv.org/abs/2610.32009v1
• Date: Fri, 23 Oct 2026 00:16:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.31322
• Title: GS-MoE: Training-Free MoE Compression via Groupwise Subspace Sharing and Pruning
• Title（参考訳）: GS-MoE:グループワイドサブスペースシェアリングとプルーニングによるトレーニングフリーMoE圧縮
• Abstract要約: 我々は,専門家間の冗長性に対処する,トレーニング不要な圧縮フレームワークであるGS-MoEを紹介する。 グループ単位での低ランク表現は、専門家固有の投影を維持しながら、専門家間で共有構造をキャプチャする。 実験は両軸に沿った圧縮の相補的な利点を示す。
• 参考スコア（独自算出の注目度）: 21.143130180709132
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-Experts (MoE) models reduce computation through sparse activation, but storing their expert parameters remains a major memory bottleneck. We introduce GS-MoE, a training-free compression framework that addresses redundancy across and within experts through two compression axes: shared-subspace rank and expert intermediate width. Groupwise low-rank representations capture shared structure across experts while retaining expert-specific projections, and Nyström-based neuron compression reduces intermediate width within each expert. For fixed shared subspaces, we derive per-expert reconstruction-error reductions from the reconstruction objective and use them to guide expert grouping. Budgets are allocated hierarchically using a gradient-free layer-importance score to guide the allocation of rank and width budgets across layers, which eigenvalues and leverage then distribute as non-uniform ranks across groups and intermediate widths across experts. Experiments demonstrate the complementary benefits of compression along both axes, particularly at high compression rates on fine-grained MoE models. On DeepSeek-MoE-16B-Base, at a 60% reduction in total model parameters, GS-MoE retains approximately 90% of the uncompressed model's average reasoning performance, compared with 73% for D$^2$-MoE, while achieving 20% lower out-of-domain perplexity. We provide a code implementation at: https://github.com/cbacary/GS-MoE
• Abstract（参考訳）: Mixture-of-Experts (MoE)モデルはスパースアクティベーションによって計算を削減しますが、専門家パラメータを格納することは大きなメモリボトルネックのままです。 GS-MoEは,共有空間ランクとエキスパート中間幅という2つの圧縮軸を通じて,専門家間の冗長性に対処する,トレーニング不要な圧縮フレームワークである。 グループワイズ低ランク表現は、専門家固有の投影を維持しながら専門家間で共有構造をキャプチャし、Nyströmベースのニューロン圧縮は各専門家の中間幅を減少させる。 固定された共有部分空間に対しては、再構成目的から専門家ごとの再構成エラー削減を導出し、専門家グループ化の指導に使用する。 予算は階層的に勾配のない層重要度スコアを用いて配分され、階層間のランクと幅の予算の配分を導く。 実験は両軸に沿った圧縮の相補的な利点を示し、特に細粒度MoEモデルにおける高い圧縮速度を示す。 DeepSeek-MoE-16B-Baseでは、総モデルパラメータの60%の削減で、GS-MoEは、D$^2$-MoEの73%に比べて、圧縮されていないモデルの平均推論性能の約90%を維持し、ドメイン外パープレキシティは20%低い。 https://github.com/cbacary/GS-MoE

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
  そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。 我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-06-16T06:53:27Z)
• SHAPE: Coalition-Aware Expert Pruning for Sparse Mixture-of-Experts LLMs [4.035485260002141]
  Sparse Mixture-of-Experts (MoE)モデルは、トーケンの少ない計算で強力な品質を達成するが、そのデプロイメントはメモリウォールによって制限されることが多い。 課題駆動型プルーニングフレームワークのtextbfSHAPE を提案する。
  論文  参考訳（メタデータ） (2026-06-03T08:41:48Z)
• Hierarchical Mixture-of-Experts with Two-Stage Optimization [84.70724165894501]
  ルーティング制御を2つの結合レベルに分解するグループ化されたMoEフレームワークであるHi-MoEを提案する。 我々は,最近のスパースルーティングやグループ化されたMoEベースラインに対する一貫した改善をNLPおよびビジョンベンチマークで観察する。 58Bトークンの大規模事前トレーニングでは、Hi-MoE-7Bは5.6%のパープレキシティ低減と、OLMoE-7Bよりも40%のエキスパートバランスの改善を実現している。
  論文  参考訳（メタデータ） (2026-05-08T09:21:46Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• Breaking the MoE LLM Trilemma: Dynamic Expert Clustering with Structured Compression [14.086434595924716]
  Mixture-of-Experts (MoE) Large Language Models (LLM) は負荷不均衡、パラメータの冗長性、通信オーバーヘッドのトリレンマに直面している。 動的専門家クラスタリングと構造化圧縮に基づいて統合されたフレームワークを導入し,これらの問題に協調的に対処する。
  論文  参考訳（メタデータ） (2025-09-27T10:45:58Z)
• Sub-MoE: Efficient Mixture-of-Expert LLMs Compression via Subspace Expert Merging [17.490596264046435]
  Sub-MoE は Subspace Expert Merging による新しい MoE 圧縮フレームワークである。 我々の重要な洞察は、専門家の重み付けでSingular Value Decomposition(SVD)を共同で行うことです。 当社のSub-MoEは、既存のエキスパートプルーニングやマージ方法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2025-06-29T14:43:50Z)
• Towards Efficient Mixture of Experts: A Holistic Study of Compression Techniques [17.436189502801163]
  本稿では,Mixture of Expertsの圧縮技術に関する総合的研究を行い,効率性とスケーラビリティを両立させる。 我々は,全MoE層を除去するLayer Dropと,トランスフォーマーブロックを除去するBlock Dropを提案する。 また、個々の専門家を圧縮してパフォーマンスをさらに向上させ、Expert Trimmingとシームレスに統合できるExpert Slimmingを紹介します。
  論文  参考訳（メタデータ） (2024-06-04T17:18:40Z)
• Merge, Then Compress: Demystify Efficient SMoE with Hints from Its Routing Policy [84.11508381847929]
  わずかに活性化されたMixture-of-Experts(SMoE)は、ニューラルネットワークの学習能力のスケールアップを約束している。 ルーティング統計を利用したM-SMoEを提案する。 我々のMC-SMoEは最大80%のメモリと20%のFLOPを削減でき、性能は実質的に損なわれない。
  論文  参考訳（メタデータ） (2023-10-02T16:51:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。