論文の概要: MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2610.30206v1
• Date: Wed, 21 Oct 2026 13:06:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.083754
• Title: MoEZip: Routing-Aware KV Cache Compression for Sparse Mixture-of-Experts LLMs
• Title（参考訳）: MoEZip:Sparse Mixture-of-Experts LLMのためのルーティング対応KVキャッシュ圧縮
• Abstract要約: Mixture-of-Experts (MoE)言語モデルでは、トークンごとにパラメータの小さなサブセットをアクティベートすることで、モデルのキャパシティを効率的に拡張する。 既存のKVキャッシュ圧縮手法は、高密度トランスのコストを削減しているが、MoE特有の問題を見落としている。 スパースMoE言語モデルのためのルーティング対応KVキャッシュ圧縮であるMoEZipを提案する。
• 参考スコア（独自算出の注目度）: 4.517380184758914
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) language models scale model capacity efficiently by activating a small subset of parameters per token. However, in long-context inference, memory remains a major bottleneck because the KV cache grows linearly with sequence length. Existing KV cache compression methods reduce this cost for dense transformers, but overlook a problem specific to MoE: KV eviction can change which experts are selected during answer generation, degrading the generation quality. We propose MoEZip, a routing-aware KV cache compression for sparse MoE language models. To estimate the sensitivity of expert routing to perturbation, we propose a novel metric based on the Fisher information matrix of routing distributions. MoEZip combines this metric with attention weights for routing-aware scoring of contexts. Finally, we compose a complementary scoring system that combines eviction methods for dense and sparse-MoE architectures. Experiments show that MoEZip achieves robust performance under aggressive cache compression on various benchmarks. At a KV retention ratio of 10\%, MoEZip improves over the SoTA baseline by +24 and +20 points on average on LongBench and RULER, corresponding to 2.3$\times$ and 4.9$\times$ higher scores, respectively.
• Abstract（参考訳）: Mixture-of-Experts (MoE)言語モデルでは、トークンごとにパラメータの小さなサブセットをアクティベートすることで、モデルのキャパシティを効率的に拡張する。 しかし、長いコンテキストの推論では、KVキャッシュはシーケンス長とともに線形に成長するため、メモリは大きなボトルネックのままである。 既存のKVキャッシュ圧縮手法は、高密度トランスのコストを削減しているが、MoE特有の問題を見落としている。 スパースMoE言語モデルのためのルーティング対応KVキャッシュ圧縮であるMoEZipを提案する。 摂動に対するエキスパートルーティングの感度を推定するために、ルーティング分布のフィッシャー情報行列に基づく新しいメトリクスを提案する。 MoEZipはこのメトリクスを、コンテキストのルーティング対応スコアリングのための注意重みと組み合わせている。 最後に,高密度かつスパースなMoEアーキテクチャの消去手法を組み合わせた補完的なスコアリングシステムを構成する。 実験により、MoEZipは様々なベンチマークでアグレッシブなキャッシュ圧縮の下で堅牢な性能を達成することが示された。 KV保持率 10 % では、MoEZip は、LongBench と RULER の平均で SoTA ベースラインを +24 と +20 で上回り、それぞれ 2.3$\times$ と 4.9$\times$ のスコアに対応する。

関連論文リスト

• Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs [50.677556944160216]
  MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
  論文  参考訳（メタデータ） (2026-08-22T00:01:18Z)
• MosaicKV: Serving Long-Context LLM with Dynamic Two-D KV Cache Compression [6.5757024278093565]
  長いコンテキストのLLMサービスは、数十万から数百万のトークンでプロンプトを持続し、キーバリュー(KV)キャッシュをファーストオーダーのサービスコストにする。 MosaicKVは、非常に長いコンテキストを提供するための動的2次元圧縮システムである。
  論文  参考訳（メタデータ） (2026-07-01T10:44:57Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。