論文の概要: SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving

• arxiv url: http://arxiv.org/abs/2609.34117v1
• Date: Mon, 28 Sep 2026 01:57:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:53:17.130583
• Title: SlimWise: Decoupling Expert Pruning Across Prefill and Decode for Efficient MoE Serving
• Title（参考訳）: SlimWise: 効率的なMoE実行のためのプリフィルとデコードで専門家を分離する
• Abstract要約: SlimWiseは、専門家プールを各推論フェーズに調整するサービスフレームワークです。 SlimWiseはフルモデルでプリフィルを実行し、プリフィル生成したKVキャッシュを直接変換せずに再利用するプルーンドモデルでデコードする。 Qwen3.6-35B-A3Bでは、SlimWiseはデコードスループットを50%のエキスパートプルーニングで最大1.81倍改善し、最小限の精度を損なう。
• 参考スコア（独自算出の注目度）: 4.2257896511278075
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Mixture-of-experts (MoE) models activate few experts per token, yet batched decoding can access nearly the entire expert pool, making expert-weight traffic a major bottleneck. Expert pruning reduces this traffic, but conventional approaches also prune compute-bound prefill, sacrificing model quality for little throughput benefit. We present SlimWise, a serving framework that tailors the expert pool to each inference phase. SlimWise performs prefill with the full model and decode with a pruned model that directly reuses the prefill-generated KV cache without conversion. Across two MoE backbones and three pruning criteria, this training-free KV cache handoff substantially narrows accuracy gaps relative to the full model in many settings. We also show that benchmark accuracy can conceal substantial pruning-induced changes in generation length. To address these distortions and residual accuracy loss, SlimWise introduces a low-cost distillation stage that trains the decoder to continue from full-model KV caches while updating only a small subset of parameters. Implemented in vLLM, SlimWise supports both prefill-decode (PD) disaggregation and PD-colocated serving. On Qwen3.6-35B-A3B, SlimWise improves decode throughput by up to 1.81x at 50% expert pruning with minimal accuracy loss.
• Abstract（参考訳）: Mixture-of-Experts(MoE)モデルはトークン当たりのエキスパート数が少ないが、バッチ化されたデコーディングはエキスパートプール全体にアクセスすることができ、専門家のトラフィックが大きなボトルネックになる。 エキスパートプルーニングは、このトラフィックを減らすが、従来のアプローチは、計算バウンドのプリフィルをプリフィルし、少ないスループットの利益のためにモデル品質を犠牲にする。 SlimWiseは、専門家プールを各推論フェーズに調整するサービスフレームワークです。 SlimWiseはフルモデルでプリフィルを実行し、プリフィル生成したKVキャッシュを直接変換せずに再利用するプルーンドモデルでデコードする。 2つのMoEバックボーンと3つのプルーニング基準にまたがって、このトレーニング不要なKVキャッシュハンドオフは、多くの設定において、フルモデルに対する精度ギャップを大幅に狭める。 また, ベンチマーク精度は, プルーニングによる世代長の変化をかなり隠蔽できることを示した。 これらの歪みと残留精度の損失に対処するため、SlimWiseは、少数のパラメータのみを更新しながら、デコーダをフルモデルKVキャッシュから継続するように訓練する低価格の蒸留ステージを導入した。 vLLMで実装されたSlimWiseは、プリフィルデコード(PD)ディスアグリゲーションとPDコロケーションサービスの両方をサポートする。 Qwen3.6-35B-A3Bでは、SlimWiseはデコードスループットを50%のエキスパートプルーニングで最大1.81倍改善し、最小限の精度を損なう。

関連論文リスト

• HEAT: Faster Fully Homomorphic Inference via Approximations-Weights Co-Adaptation [56.14416807766864]
  同型暗号化により、サーバは暗号化されたユーザープロンプト上で言語モデルを直接実行することができる。 既存のアプローチでは、各サイトのエラー許容度を調整するのではなく、モデル全体のイテレーションカウントを均一に修正する。 非線形反復回数を学習可能にする微調整法であるHAT(Hymomorphic Encryption-Aware Training)を導入する。
  論文  参考訳（メタデータ） (2026-09-01T18:02:02Z)
• LAQuant: A Simple Overhead-free Large Reasoning Model Quantization by Layer-wise Lookahead Loss [8.481133435038839]
  大規模な推論モデルは、長い自己回帰復号によって競合レベルの数学と符号化精度に達する。 ウェイト量子化はアクセラレーションの標準ツールであるが、長復号推論ベンチマークでは、代表的なレシピが正確さを失う。 そこで我々はLookAhead Quantization (LAQuant) を提案する。
  論文  参考訳（メタデータ） (2026-05-09T07:35:38Z)
• An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models [22.63554774942836]
  本稿では,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるために,MCFT(Momentum-Consistency Fine-Tuning)を提案する。 MCFTは、運動量ベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 我々はMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、計算効率を向上させるプルーニングベースの変種。
  論文  参考訳（メタデータ） (2026-03-24T21:28:37Z)
• The $qs$ Inequality: Quantifying the Double Penalty of Mixture-of-Experts at Inference [0.8986240899504297]
  Mixture-of-Experts (MoE)モデルは、低トレーニングのFLOPにおいて高い品質を提供するが、この効率はしばしば推論時に消える。 復号化時に構造的にMoEアーキテクチャに不利な二重ペナルティを識別する。 我々は、MoEが品質整合密度モデルに対して構造的に不利なときを識別する予測的基準である$qs$不等式(inequality)を導入する。
  論文  参考訳（メタデータ） (2026-03-09T21:48:04Z)
• RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse [5.597099794399441]
  RelayCachingはトレーニング不要な推論手法で、前のエージェントから復号フェーズKVキャッシュを直接再利用する。 RelayCachingは80%以上のKVキャッシュの再利用を実現し、TTFTを標準パイプラインと比較して最大4.7倍のコストで削減できることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:46:28Z)
• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
  GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。 各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
  論文  参考訳（メタデータ） (2025-10-13T16:31:50Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• MoNE: Replacing Redundant Experts with Lightweight Novices for Structured Pruning of MoE [12.498106165046233]
  Mixture-of-Experts (MoE)は、入力トークンごとに専門家のサブセットだけを活性化することにより、大規模言語モデルの効率的なスケーリングを可能にする。 MoNEは冗長な専門家を軽量な初心者に置き換え、効果的で堅牢なモデル圧縮を実現する。
  論文  参考訳（メタデータ） (2025-07-01T03:02:59Z)
• CrAM: A Compression-Aware Minimizer [103.29159003723815]
  本稿では、CrAMと呼ばれる新しい圧縮対応最小化器を提案し、最適化ステップを原則的に修正する。 CrAMは、標準のSGD/アダムベースベースラインよりも精度が高い密度のモデルを生成するが、重量計算では安定である。 CrAMは、転送学習のためにうまく機能するスパースモデルを生成することができ、GPUハードウェアでサポートされている半構造化の2:4プルーニングパターンでも機能する。
  論文  参考訳（メタデータ） (2022-07-28T16:13:28Z)
• MLPruning: A Multilevel Structured Pruning Framework for Transformer-based Models [78.45898846056303]
  プルーニングは、大きな自然言語処理モデルに関連するメモリフットプリントと計算コストを削減する効果的な方法である。 我々は,頭部刈り込み,行刈り,ブロックワイズ刈りという3つの異なるレベルの構造化刈り込みを利用する,新しいマルチレベル構造化刈り込みフレームワークを開発した。
  論文  参考訳（メタデータ） (2021-05-30T22:00:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。