論文の概要: CAMERA: Multi-Matrix Joint Compression for MoE Models via Micro-Expert Redundancy Analysis

• arxiv url: http://arxiv.org/abs/2508.02322v1
• Date: Mon, 04 Aug 2025 11:42:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.315331
• Title: CAMERA: Multi-Matrix Joint Compression for MoE Models via Micro-Expert Redundancy Analysis
• Title（参考訳）: CAMERA:マイクロエキスパート冗長解析によるMoEモデルのマルチマトリックスジョイント圧縮
• Authors: Yuzhuang Xu, Xu Han, Yuanchi Zhang, Yixuan Wang, Yijun Liu, Shiyu Ji, Qingfu Zhu, Wanxiang Che,
• Abstract要約: MoE(Mixture-of-Experts)を備えた大規模言語モデルは、計算と記憶のオーバーヘッドに悩まされる。 行列にまたがるより微細な圧縮ユニットとしてマイクロエキスパートを導入する。 マイクロエキスパートのための構造化プルーニングフレームワークであるCAMERA-Pと、マイクロエキスパート向けに設計された混合精度量子化アイデアであるCAMERA-Qを提案する。
• 参考スコア（独自算出の注目度）: 51.27304044745634
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) with Mixture-of-Experts (MoE) architectures are distinguished by their strong performance scaling with increasing parameters across a wide range of tasks, yet they also suffer from substantial computational and storage overheads. Notably, the performance gains of MoE models do not scale proportionally with the growth in expert parameters. While prior works attempt to reduce parameters via expert-level pruning, merging, or decomposition, they still suffer from challenges in both performance and computational efficiency. In this paper, we address these challenges by introducing micro-expert as a finer-grained compression unit that spans across matrices. We first establish a more fundamental perspective, viewing MoE layers as mixtures of micro-experts, and present CAMERA, a lightweight and training-free framework for identifying micro-expert redundancy. Our analysis uncovers significant variance in micro-expert contributions during decoding. Based on this insight, we further propose CAMERA-P, a structured micro-expert pruning framework, and CAMERA-Q, a mixed-precision quantization idea designed for micro-experts. Extensive experiments on nine downstream tasks show that CAMERA-P consistently outperforms strong baselines under pruning ratios ranging from 20% to 60%. Furthermore, CAMERA-Q achieves superior results under aggressive 2-bit quantization, surpassing existing matrix- and channel-level ideas. Notably, our method enables complete micro-expert analysis of Qwen2-57B-A14B in less than 5 minutes on a single NVIDIA A100-40GB GPU.
• Abstract（参考訳）: 大きな言語モデル(LLM)とMixture-of-Experts(MoE)アーキテクチャは、幅広いタスクにまたがるパラメータの増加による強力なパフォーマンスのスケーリングによって区別されるが、計算とストレージのオーバーヘッドにも悩まされている。 特に、MoEモデルの性能向上は、専門家パラメータの増加と比例しない。 事前の作業では、専門家レベルのプルーニング、マージ、あるいは分解によってパラメータを削減しようとするが、パフォーマンスと計算効率の両面での課題に悩まされている。 本稿では,マイクロエキスパートを行列にまたがる細粒度圧縮ユニットとして導入することで,これらの課題に対処する。 まず、MoE層をマイクロエキスパートの混合体と見なして、より基本的な視点を確立し、マイクロエキスパートの冗長性を識別するための軽量でトレーニング不要なフレームワークであるCAMERAを提示する。 この分析により,復号化過程におけるマイクロエキスパートの寄与の有意なばらつきが明らかになった。 この知見に基づき、構造化されたマイクロエキスパート・プルーニングフレームワークであるCAMERA-Pと、マイクロエキスパート向けに設計された混合精度量子化アイデアであるCAMERA-Qを提案する。 9つの下流タスクに関する大規模な実験により、CAMERA-Pは20%から60%のプルーニング比で強いベースラインを一貫して上回っていることが示された。 さらに、CAMERA-Qは攻撃的な2ビット量子化の下で、既存の行列やチャネルレベルのアイデアよりも優れた結果が得られる。 特に,1個のNVIDIA A100-40GB GPU上で,Qwen2-57B-A14Bを5分以内で完全マイクロエキスパート解析できる。

関連論文リスト

• HOBBIT: A Mixed Precision Expert Offloading System for Fast MoE Inference [54.40808356999408]
  フレキシブルで効率的なMoE推論を実現するための混合精度専門家オフロードシステムHOBBITを提案する。 キーとなる洞察は、重要でないキャッシュミスの専門家を低い精度で動的に置き換えることで、専門家のロード遅延を大幅に削減できるということです。 HOBBITは、最先端のMoEオフロードシステムと比較して、デコードで最大9.93倍のスピードアップを達成する。
  論文  参考訳（メタデータ） (2024-11-03T04:25:46Z)
• MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition [32.97035551579975]
  モデルサイズを小さくし,計算コストを低減させるために,MoEに適した2段階圧縮手法を提案する。 Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite、Mixtral-8$times$7Bの実験により、提案手法はモデルサイズを低減し、推論効率を向上させることができることを示した。
  論文  参考訳（メタデータ） (2024-11-01T20:37:58Z)
• Mixture Compressor for Mixture-of-Experts LLMs Gains More [71.0473038084673]
  我々は、Mixture-of-Experts Large Language Model (MoE-LLMs) のためのトレーニング不要なMixture-Compressorを提案する。 我々のMCは静的量子化と動的プルーニングを統合し、より少ない精度でMoE-LLMの極端な圧縮を実現する。 例えば、2.54ビットでは、MCは76.6%を圧縮し、平均精度損失は3.8%である。
  論文  参考訳（メタデータ） (2024-10-08T18:09:38Z)
• Diversifying the Expert Knowledge for Task-Agnostic Pruning in Sparse Mixture-of-Experts [75.85448576746373]
  本稿では,モデルのパラメータ効率を向上させるために,類似の専門家をグループ化し,グループ化する方法を提案する。 提案手法の有効性を3つの最先端MoEアーキテクチャを用いて検証する。 評価の結果,本手法は自然言語タスクにおいて,他のモデルプルーニング手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-07-12T17:25:02Z)
• Mixture of A Million Experts [1.240096657086732]
  本稿では,多彩な専門家プールからのスパース検索に製品キー技術を利用する新しい層設計PEERを紹介する。 言語モデリングタスクの実験では、PEER層が高密度FFWや粗粒のMoEよりもパフォーマンス・計算トレードオフの点で優れていることが示された。
  論文  参考訳（メタデータ） (2024-07-04T20:59:20Z)
• Efficient Expert Pruning for Sparse Mixture-of-Experts Language Models: Enhancing Performance and Reducing Inference Costs [30.07344792770254]
  我々は,SMoEモデルのエキスパートの育成を促進するため,EEP(Efficient Expert Pruning)と呼ばれる勾配のない進化戦略を導入する。 EEPは、ダウンストリームタスクのパフォーマンスを維持したり改善したりしながら、モデル推論(すなわち、勾配計算をしない)とより大きな疎性にのみ依存する。 実験の結果,Mixtral 8times7$B-Instructのエキスパートの75%が,性能損失を最小限に抑えたパラメータの大幅な削減を達成できた。
  論文  参考訳（メタデータ） (2024-07-01T03:57:35Z)
• A Provably Effective Method for Pruning Experts in Fine-tuned Sparse Mixture-of-Experts [49.394145046409044]
  本論文は,MoEモデルにおけるエキスパートの刈り取りに有効な手法として,初めて提案するものである。 理論的には、事前訓練されたモデルからルータl2ノルムを小さく変更することで、専門家のプルーニングを優先順位付けすることで、テスト精度の維持が保証される。 我々の理論解析は、単純化されたMoEアーキテクチャ上でのバイナリ分類タスクに重点を置いているが、我々の専門的なプルーニング手法は、大きな視覚的MoEモデルに基づいて検証されている。
  論文  参考訳（メタデータ） (2024-05-26T17:52:58Z)
• Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness [10.196942053244468]
  大規模なMixture of Experts (MoE)モデルは、様々な言語タスクで最先端の品質を達成することができる。 MoQEは、超低ビットから2ビットまでの量子化を専門家の重みのみに適用する単純な重みのみの量子化法である。 低ビット量子化とMoEアーキテクチャは信頼性の高いモデル性能を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-03T20:11:23Z)
• Task-Specific Expert Pruning for Sparse Mixture-of-Experts [105.20605021416276]
  Mixture-of-Experts (MoE) モデルは大規模な事前トレーニングには強力である。 MoEはクラウドやモバイル環境にデプロイするのは難しい。 本稿では,目標下流タスクの非専門的専門家を段階的に降ろす方法を提案する。
  論文  参考訳（メタデータ） (2022-06-01T07:09:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。