Fugu-MT 論文翻訳(概要): MoBE: Mixture-of-Basis-Experts for Compressing MoE-based LLMs

論文の概要: MoBE: Mixture-of-Basis-Experts for Compressing MoE-based LLMs

arxiv url: http://arxiv.org/abs/2508.05257v1
Date: Thu, 07 Aug 2025 10:48:24 GMT
ステータス: 翻訳完了
システム内更新日: 2025-08-08 18:59:39.824069
Title: MoBE: Mixture-of-Basis-Experts for Compressing MoE-based LLMs
Title（参考訳）: MoBE-Basis-Experts for Compressing MoE-based LLMs
Authors: Xiaodong Chen, Mingming Ha, Zhenzhong Lan, Jing Zhang, Jianguo Li,
Abstract要約: MoBEは前作に比べて顕著に精度が低下する。 MoBEはQwen3-235B-A22B-2507、DeepSeek-V3-0324 (671B)、Kimi-K2-Instruct (1T)のパラメータ数を24%-30%削減できる。
参考スコア（独自算出の注目度）: 25.218350580080447
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The Mixture-of-Experts (MoE) architecture has become a predominant paradigm for scaling large language models (LLMs). Despite offering strong performance and computational efficiency, large MoE-based LLMs like DeepSeek-V3-0324 and Kimi-K2-Instruct present serious challenges due to substantial memory requirements in deployment. While recent works have explored MoE compression to address this issue, existing methods often suffer from considerable accuracy drops (e.g., 7-14% relatively) even at modest compression rates. This paper introduces a novel Mixture-of-Basis-Experts (MoBE) method that achieves model compression while incurring minimal accuracy drops. Specifically, each up/gate matrix in an expert is decomposed via a rank decomposition as W = AB, where matrix A is unique to each expert. The relatively larger matrix B is further re-parameterized as a linear combination of basis matrices {Bi} shared across all experts within a given MoE layer. The factorization is learned by minimizing the reconstruction error relative to the original weight matrices. Experiments demonstrate that MoBE achieves notably lower accuracy drops compared to prior works. For instance, MoBE can reduce the parameter counts of Qwen3-235B-A22B-2507, DeepSeek-V3-0324 (671B) and Kimi-K2-Instruct (1T) by 24%-30% with only 1%-2% accuracy drop (about 2% drops when measured relatively).
Abstract（参考訳）: Mixture-of-Experts (MoE)アーキテクチャは、大規模言語モデル(LLM)をスケールするための主要なパラダイムとなっている。性能と計算効率は高いが、DeepSeek-V3-0324やKim-K2-Instructのような大規模なMoEベースのLLMは、デプロイメントにおけるかなりのメモリ要求のために深刻な課題を提起している。最近の研究では、この問題に対処するためにMoE圧縮を探索しているが、既存の手法では、控えめな圧縮速度でもかなりの精度の低下(例:7-14%の相対)に悩まされることが多い。本稿では,モデル圧縮を最小限の精度で実現したMixture-of-Basis-Experts (MoBE)法を提案する。具体的には、専門家のアップ/ゲート行列はランク分解によって W = AB として分解される。比較的大きな行列Bは、与えられたMoE層内の全ての専門家間で共有される基底行列 {Bi} の線形結合として再パラメータ化される。この因子化は、元の重み行列に対する再構成誤差を最小化することによって学習される。実験により、MoBEは従来よりも顕著に低い精度の低下を達成できることが示された。例えば、MoBEはQwen3-235B-A22B-2507、DeepSeek-V3-0324 (671B)、Kim-K2-Instruct (1T)のパラメータ数を24%-30%削減できる。

関連論文リスト

MiLo: Efficient Quantized MoE Inference with Mixture of Low-Rank Compensators [17.024303421560578]
我々は、高量子化MoEを低ランク補償器の混合で拡張する新しい方法であるMiLoを紹介する。 MiLoはキャリブレーションデータに依存しないので、キャリブレーションセットに過度に適合することなく、さまざまなMoEモデルやデータセットに一般化することができる。評価の結果、MiLoは様々なタスクでSoTA MoEモデル上で既存の手法よりも優れていることがわかった。
論文参考訳（メタデータ） (2025-04-03T14:54:17Z)
ResMoE: Space-efficient Compression of Mixture of Experts LLMs via Residual Restoration [61.579842548990754]
複数現象言語モデルのバックボーンであるMixture-of-Experts (MoE) Transformerは、各入力トークンに対して少数のモデルパラメータのみをアクティベートすることで、空間性を利用する。 ResMoEは、Wasserstein Barycenterを利用した革新的なMoE近似フレームワークで、共通の専門家(バリセンターエキスパート)を抽出し、このバリセンターエキスパートと元の専門家の間の残差を近似する。
論文参考訳（メタデータ） (2025-03-10T03:15:54Z)
MoE-I$^2$: Compressing Mixture of Experts Models through Inter-Expert Pruning and Intra-Expert Low-Rank Decomposition [32.97035551579975]
モデルサイズを小さくし,計算コストを低減させるために,MoEに適した2段階圧縮手法を提案する。 Qwen1.5-MoE-A2.7B、DeepSeek-V2-Lite、Mixtral-8$times$7Bの実験により、提案手法はモデルサイズを低減し、推論効率を向上させることができることを示した。
論文参考訳（メタデータ） (2024-11-01T20:37:58Z)
MoDeGPT: Modular Decomposition for Large Language Model Compression [59.361006801465344]
本稿では,新しい構造化圧縮フレームワークである textbfModular bfDecomposition (MoDeGPT) を紹介する。 MoDeGPTはTransformerブロックを行列対からなるモジュールに分割し、隠れた次元を減らす。本実験では, 後方伝播を伴わないMoDeGPTが, 従来の圧縮手法と一致するか, あるいは超えていることを示す。
論文参考訳（メタデータ） (2024-08-19T01:30:14Z)
From Low Rank Gradient Subspace Stabilization to Low-Rank Weights: Observations, Theories, and Applications [85.17672240603011]
大規模言語モデルにおける重み行列の非一様低ランク特性について検討する。 WeLore(Weight Low-Rank Projection)は、重み圧縮とメモリ効率の微調整を一体化したものである。
論文参考訳（メタデータ） (2024-07-15T21:05:20Z)
QuantMoE-Bench: Examining Post-Training Quantization for Mixture-of-Experts [47.01697456105496]
Mixture-of-Experts (MoE)は、大規模言語モデルの学習能力をスケールアップする有望な方法である。 MoEは大きなパラメータサイズのためにメモリオーバーヘッドに悩まされる。トレーニング後の量子化は、モデル圧縮に強力なアプローチを提供する。
論文参考訳（メタデータ） (2024-06-12T12:44:48Z)
SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
論文参考訳（メタデータ） (2024-05-23T16:21:48Z)
LORD: Low Rank Decomposition Of Monolingual Code LLMs For One-Shot Compression [16.901290551711476]
低ランク分解(LoRD)による単言語コード生成のための大言語モデル(LLM)圧縮の可能性について検討する。次に、ローランク分解(LoRD)を使用して、StarCoder 16B から 13.2B パラメータをドロップなしで圧縮し、HumanEval Pass@1 スコアを最小値で 12.3B に圧縮します。
論文参考訳（メタデータ） (2023-09-25T10:35:17Z)
SqueezeLLM: Dense-and-Sparse Quantization [80.32162537942138]
LLMにおける生成推論の主なボトルネックは、単一のバッチ推論のための計算ではなく、メモリ帯域幅である。学習後量子化フレームワークであるSqueezeLLMを導入し、最大3ビットの超低精度でのロスレス圧縮を実現する。本フレームワークは,2次情報に基づく最適ビット精度割当を探索する感度ベース非一様量子化法と,2次情報に基づくDense-and-Sparse分解法と,2次情報量割当値と感度重み値を効率的にスパース形式で格納するDense-and-Sparse分解法である。
論文参考訳（メタデータ） (2023-06-13T08:57:54Z)
Language model compression with weighted low-rank factorization [73.61874728240568]
本稿では,モデル予測に影響を及ぼすパラメータの重要性を評価するために,フィッシャー情報を紹介する。結果のタスク精度は、元のモデルの性能にかなり近いことがわかった。提案手法は,タスク固有のモデルを直接圧縮し,他のコンパクトモデル戦略よりも優れた性能を実現する。
論文参考訳（メタデータ） (2022-06-30T21:57:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。