論文の概要: Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs

• arxiv url: http://arxiv.org/abs/2608.21693v1
• Date: Sat, 22 Aug 2026 00:01:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.408377
• Title: Benchmarking Composable Compression Techniques in Mixture-of-Experts LLMs
• Title（参考訳）: 複合型LLMにおける構成可能圧縮技術ベンチマーク
• Abstract要約: MoEXBenchは、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための体系的なベンチマークである。 コンポーザブル圧縮品質、ワークロードとアーキテクチャ、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を測定する。
• 参考スコア（独自算出の注目度）: 50.677556944160216
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) LLMs scale model capacity efficiently through sparse activation, but their large expert parameter footprint, routing imbalance, and long-context KV-cache growth make deployment difficult on commodity hardware. Practical deployment often requires stacking multiple compression techniques: expert pruning removes redundant experts, weight quantization lowers model memory footprint, and KV-cache compression reduces long-context memory pressure. However, these techniques are typically evaluated in isolation, leaving open how they interact when applied together in realistic deployment pipelines. In this work, we present MoEXBench, a systematic benchmark for evaluating composable MoE compression as an end-to-end deployment workflow. MoEXBench studies 10 MoE models ranging from 30B to 235B total parameters across standard-attention, hybrid linear-attention, and sliding window attention architectures. It evaluates 20%-50% expert pruning rates, 1 to 16 bit weight-quantization schemes, and multiple KV-cache precision settings, applied both individually and in combination. MoEXBench introduces an eight-module evaluation suite that jointly measures composable-compression quality, workload and architecture robustness, pruning/quantization/KV cache sensitivity, and deployment efficiency on commodity hardware. Our results reveal non-trivial interactions among compression methods: composable compression cannot be predicted from standalone techniques, compression rate alone does not reliably predict quality loss or runtime gain, expert pruning is the dominant degradation source, and average quality can hide workload and architecture-specific failures. By releasing normalized module scores, compressed artifacts, and reproducible scripts, MoEXBench enables practical accuracy-memory-latency comparison across MoE families and hardware backends.
• Abstract（参考訳）: Mixture-of-Experts (MoE) LLMはスパースアクティベーションによって効率よくモデル容量をスケールするが、その大きなパラメータフットプリント、ルーティング不均衡、長期コンテキストKVキャッシュの成長は、コモディティハードウェアへの展開を困難にしている。 専門家のプルーニングは冗長な専門家を排除し、重量量子化はモデルのメモリフットプリントを低下させ、KV-cache圧縮は長いコンテキストのメモリ圧力を減少させる。 しかしながら、これらのテクニックは一般的に独立して評価され、現実的なデプロイメントパイプラインに一緒に適用された場合のインタラクションの方法がオープンになる。 本稿では、構成可能なMoE圧縮をエンドツーエンドのデプロイメントワークフローとして評価するための、体系的なベンチマークであるMoEXBenchを紹介する。 MoEXBenchは、標準アテンション、ハイブリッドリニアアテンション、スライディングウィンドウアテンションアーキテクチャを含む、30Bから235Bまでの10のMoEモデルを研究している。 専門家のプルーニングレート20%から50%、重量量子化スキーム1から16ビット、KVキャッシュの精度設定を個別と組み合わせて評価する。 MoEXBenchは、コンポーザブル圧縮品質、ワークロードとアーキテクチャの堅牢性、プルーニング/量子化/KVキャッシュ感度、コモディティハードウェアへのデプロイメント効率を共同で測定する8つのモジュール評価スイートを導入した。 コンポーザブル圧縮はスタンドアロン技術では予測できないし,圧縮速度だけでは品質損失や実行時の利得を確実に予測できない。 正規化されたモジュールスコア、圧縮されたアーティファクト、再現可能なスクリプトをリリースすることにより、MoEXBenchはMoEファミリーとハードウェアバックエンド間で、実用的な精度とメモリレイテンシの比較を可能にする。

関連論文リスト

• Benchmarking KV-Cache Optimizations across Task Quality and System Performance for Long-Context Serving [3.3030145376284943]
  本稿では,代表的KV-cache最適化機構のワークロード対応ベンチマークを提案する。 このベンチマークは、タスク品質、平均出力スループット、平均時間対1トーケン、圧縮比を計測する。
  論文  参考訳（メタデータ） (2026-05-03T11:50:41Z)
• EchoKV: Efficient KV Cache Compression via Similarity-Based Reconstruction [55.026048429595384]
  EchoKVは、標準と圧縮された推論間のオンデマンド移行を可能にする柔軟なKVキャッシュ圧縮スキームである。 高速で低コストなトレーニングを可能にする2段階の微調整戦略を導入する。
  論文  参考訳（メタデータ） (2026-03-24T07:58:42Z)
• Arbitrary Ratio Feature Compression via Next Token Prediction [52.10426317889982]
  Arbitrary Ratio Feature Compression (ARFC)フレームワークは、任意の圧縮比を単一のモデルでサポートする。 ARCは、次の回帰予測によって圧縮を行う自動回帰モデルである。 MoSモジュールは複数の圧縮結果を利用して圧縮トークンを洗練する。 ERGCは、圧縮中の意味的および構造的関係を維持するために、トレーニングプロセスに統合される。
  論文  参考訳（メタデータ） (2026-02-12T02:38:57Z)
• MC#: Mixture Compressor for Mixture-of-Experts Large Models [86.64315380917827]
  Mixture-of-Experts (MoE)は、大きな言語モデル(LLM)と視覚言語モデル(VLM)をスパースアクティベーションによって拡張することで効果的にスケールする。 静的量子化と動的エキスパートプルーニングを組み合わせたフレームワークであるMC#(Mixture-Compressor-sharp)を提案する。
  論文  参考訳（メタデータ） (2025-10-13T03:12:46Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)
• Towards Efficient Mixture of Experts: A Holistic Study of Compression Techniques [17.436189502801163]
  本稿では,Mixture of Expertsの圧縮技術に関する総合的研究を行い,効率性とスケーラビリティを両立させる。 我々は,全MoE層を除去するLayer Dropと,トランスフォーマーブロックを除去するBlock Dropを提案する。 また、個々の専門家を圧縮してパフォーマンスをさらに向上させ、Expert Trimmingとシームレスに統合できるExpert Slimmingを紹介します。
  論文  参考訳（メタデータ） (2024-06-04T17:18:40Z)
• The Cost of Compression: Investigating the Impact of Compression on Parametric Knowledge in Language Models [11.156816338995503]
  大規模言語モデル(LLM)は、より高速な推論、メモリフットプリントの縮小、ローカルデプロイメントを可能にする。 2つの標準的な圧縮手法はプルーニングと量子化であり、前者はモデル層における冗長な接続を排除し、後者はより少ないビットでモデルパラメータを表現する。 LLM圧縮に関する既存の研究は、主にパープレキシティやダウンストリームタスクの精度といった一般的な指標のパフォーマンスに焦点を当てている。 パラメトリックな知識を測定するような、よりきめ細かいメトリクスは、いまだにかなり過小評価されている。
  論文  参考訳（メタデータ） (2023-12-01T22:27:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。