論文の概要: FlexMoE: One-for-All Nested Intra-Expert Pruning for MoE Language Models
- arxiv url: http://arxiv.org/abs/2606.27866v1
- Date: Fri, 26 Jun 2026 09:08:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-29 18:24:25.437811
- Title: FlexMoE: One-for-All Nested Intra-Expert Pruning for MoE Language Models
- Title（参考訳）: FlexMoE: MoE言語モデルのための1対1のNested In-Expert Pruning
- Abstract要約: Mixture-of-Experts (MoE)言語モデルは、わずかに活性化された専門家によってモデル能力をスケールする。
既存のMoE圧縮手法は依然として固定予算であり、通常、それぞれの目標予算で1つの圧縮エンドポイントを最適化する。
私たちは、大規模な事前訓練されたMOE LLMを、予算にわたってデプロイ可能な予算作業のネストされたファミリーに変換するという、異なる設定を研究します。
- 参考スコア（独自算出の注目度）: 20.61741593160247
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Mixture-of-Experts (MoE) language models scale model ability with sparsely activated experts, making this architecture a standard recipe for modern large models. However, sparse activation does not remove the deployment burden of storing and serving all experts, and the available deployment budget can vary substantially across devices, users, and workloads. Existing MoE compression methods are still largely fixed-budget, typically optimizing one compressed endpoint at each chosen target budget. We study a different setting: converting a large pretrained MoE LLM into a nested family of deployable subnetworks across budgets. Our method first ranks expert FFN channels by their importance, then lets each expert learn a discrete action to prune its channels. By gradually increasing cost pressure, a single action-training run exports a series of action masks from high to low budgets, each of which identifies a reliable smaller subnetwork nested in the ranked base model. Moreover, we use a single recovery fine-tune at a mid pruning budget (40%) to recover degraded model quality and transfer the recovered model to other unseen budgets. Overall, our framework surpasses recent MoE compression baselines. Specifically, on Qwen2-57B-A14B, our method retains ~99.8% of base performance while pruning 50% of routed expert parameters even without fine-tuning. For deployment, our pruned subnetworks deliver real memory reduction and throughput gains, and further support realtime online budget switching with kernel-level co-design.
- Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルは、疎活性化された専門家によってモデル能力を拡大し、このアーキテクチャは現代の大規模モデルの標準的なレシピとなる。
しかしながら、スパースアクティベーションは、すべての専門家を保存し、サービスする際のデプロイメントの負担を取り除くものではなく、利用可能なデプロイメント予算は、デバイス、ユーザ、ワークロードによって大きく異なる可能性がある。
既存のMoE圧縮法は依然として固定予算であり、通常、それぞれの目標予算で1つの圧縮エンドポイントを最適化する。
我々は、大規模な事前訓練されたMOE LLMを、予算にわたってデプロイ可能なサブネットワークのネストされたファミリーに変換するという、異なる設定について研究する。
提案手法は,まず専門家のFFNチャネルを重要度でランク付けし,各専門家がそれぞれのチャンネルを熟成するための個別のアクションを学習できるようにする。
コストを徐々に増大させることで、単一のアクショントレーニングランは、一連のアクションマスクを高い予算から低い予算にエクスポートし、それぞれが、ランク付けされたベースモデルにネストされた信頼性の高い小さなサブネットワークを識別する。
さらに, モデル品質の劣化を回復し, 回収したモデルを他の未確認予算に転送するために, 中央刈り込み予算(40%)で単一回収細管を用いる。
全体として、我々のフレームワークは最近のMoE圧縮ベースラインを超えています。
具体的には,Qwen2-57B-A14Bでは,基礎性能の約99.8%を維持しながら,微調整を伴わずに50%のルーティングされた専門家パラメータを抽出する。
デプロイのために、prunedサブネットワークは、実際のメモリ削減とスループットの向上を提供し、カーネルレベルの共同設計によるリアルタイムオンライン予算切り替えをサポートします。
関連論文リスト
- Attribution-Guided and Coverage-Maximized Pruning for Structural MoE Compression [74.00650541246374]
そこで本研究では,MoEモデルに適した構造解析フレームワークを提案する。
我々のアプローチはメモリフットプリントを5.27$times削減し、最先端のベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-06-16T06:53:27Z) - Does a Global Perspective Help Prune Sparse MoEs Elegantly? [21.594202826999958]
既存のプルーニング手法は、通常、平らなMoEで生じる不均一な冗長性を見渡して、層全体に均一に予算を割り当てる。
GRAPE(Global Redundancy-Aware Pruning of Experts)は,多層冗長性に基づいて動的にプルーニング予算を割り当てるグローバルプルーニング戦略である。
Mixtral-8x7B、Mixtral-8x22B、DeepSeek-MoE、Qwen-MoE、およびGPT-OSSの実験では、同じプルーニング予算の下では、GRAPEは一貫して最高の平均性能を達成している。
論文 参考訳（メタデータ） (2026-04-08T00:41:11Z) - EvoESAP: Non-Uniform Expert Pruning for Sparse MoE [42.738877185877634]
textbfExpected textbfAcceptance textbfProxy (textbfESAP) は,プルーンドモデルがフルモデルとどの程度よく一致しているかを測定する投機的復号化型教師力メトリクスである。
固定されたグローバル予算の下で一様でない層単位の空間配置を最適化する進化的探索フレームワークであるEvoESAPを提案する。
論文 参考訳（メタデータ） (2026-03-06T08:02:58Z) - FlexRank: Nested Low-Rank Knowledge Decomposition for Adaptive Model Deployment [20.331469310989956]
重要順序付きネスト成分は事前訓練されたモデルから抽出でき、利用可能な計算予算に基づいて選択的に活性化される。
このアプローチは、各予算のスクラッチからトレーニングすることなく、コストとパフォーマンスの間の優雅なトレードオフを提供する"トレインオンス、デプロイ、どこでも"のパラダイムを可能にします。
論文 参考訳（メタデータ） (2026-02-02T19:01:40Z) - Don't Start Over: A Cost-Effective Framework for Migrating Personalized Prompts Between LLMs [51.79252689855809]
LLM(Large Language Models)におけるパーソナライゼーションは、しばしばユーザ固有のソフトプロンプトに依存する。
非互換モデル間でパーソナライズされたプロンプトを効率的に移行するフレームワークであるPrompt-level User Migration Adapter (PUMA)を提案する。
3つの大規模データセットの実験では、我々の手法が一致しているか、あるいはスクラッチから再トレーニングのパフォーマンスを上回り、計算コストを最大98%削減する。
論文 参考訳（メタデータ） (2026-01-17T12:30:31Z) - Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。
ネストしたサブモデルを単一の親モデルに組み込む。
これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
論文 参考訳（メタデータ） (2025-11-20T18:59:21Z) - Training Matryoshka Mixture-of-Experts for Elastic Inference-Time Expert Utilization [60.309915093470416]
Matryoshka MoE(M-MoE)は、エキスパートアンサンブルに直接粗い構造を注入するトレーニングフレームワークである。
私たちの作業は、大規模MOEモデルのより実用的で適応可能なデプロイメントの道を開くものです。
論文 参考訳（メタデータ） (2025-09-30T16:56:44Z) - Pruning General Large Language Models into Customized Expert Models [78.96891010334852]
大規模言語モデル(LLM)は自然言語処理に革命をもたらしたが、その相当なモデルサイズは、しばしばかなりの計算資源を必要とする。
そこで本研究では,より小型のエキスパートモデルに大容量の一般モデルを組み込む手法を提案する。
各次元の無関係ニューロンを識別し、プルーニングすることにより、$textttCus-Prun$は、ポストトレーニングなしで専門家モデルを作成する。
論文 参考訳（メタデータ） (2025-06-03T07:47:30Z) - D$^{2}$MoE: Dual Routing and Dynamic Scheduling for Efficient On-Device MoE-based LLM Serving [14.607254882119507]
専門家(MoE)モデルの組み合わせは、大きな言語モデル(LLM)のスパース変種である。
メリットはあるものの、リソース制約のあるエッジデバイスにデプロイするにはMoEは高価すぎる。
D$2$MoEは,各専門家に最適なビット幅を動的に割り当てることで,多様なタスク要求に適合するアルゴリズム・システム協調設計フレームワークである。
論文 参考訳（メタデータ） (2025-04-17T05:37:35Z) - Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。
当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。
Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
論文 参考訳（メタデータ） (2024-10-24T19:48:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。