論文の概要: PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization

• arxiv url: http://arxiv.org/abs/2607.16184v1
• Date: Fri, 17 Jul 2026 17:58:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.929918
• Title: PagedWeight: Efficient MoE LLM Serving with Dynamic Quality-Aware Weight Quantization
• Title（参考訳）: PagedWeight: 動的品質対応重み量子化を用いた効率的なMoE LLM
• Abstract要約: Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)の一般的なクラスである。 MoEは、モデルウェイトにおけるGPUメモリ要件と成長するKVキャッシュとの間に緊張関係を示すことが多い。 実行時のMoEモデルの重みを動的に定量化するMOE LLMの新しい管理手法であるPagedWeightを提案する。
• 参考スコア（独自算出の注目度）: 12.565778051354554
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixture-of-Experts (MoE) is a popular class of large language models (LLMs), offering high efficiency and accuracy. However, in KV-cache-intensive serving scenarios, MoEs often exhibit a tension between the GPU memory requirements of the model weights and the growing KV cache. We propose PagedWeight, a novel management method for MoE LLM serving that dynamically quantizes MoE model's weights at runtime and balances expert-weight precision with the KV cache sizes. PagedWeight exposes and effectively navigates the complex tradeoff between the model's task accuracy, memory consumption, and throughput/latency. Across several memory-sensitive MoE serving scenarios, PagedWeight improves the quality-memory tradeoff over several existing quantization baselines. PagedWeight achieves FP16-equivalent accuracy with up to 72.0% GPU memory savings and 1.94$\times$ throughput improvement, and improves quality over quantization methods by up to 39.3% at a similar memory budget with at most 4.1% throughput loss.
• Abstract（参考訳）: Mixture-of-Experts (MoE)は、大規模言語モデル(LLM)の一般的なクラスであり、高い効率と精度を提供する。 しかしながら、KVキャッシュ集約型のサービスシナリオでは、モデル重み付けのGPUメモリ要求とKVキャッシュの増大との間に緊張感が生じることが多い。 そこで本研究では,MoEモデルの実行時の重みを動的に定量化し,KVキャッシュサイズと専門家の重み付け精度をバランスさせる,MoE LLMの新しい管理手法であるPagedWeightを提案する。 PagedWeightは、モデルのタスク精度、メモリ消費、スループット/レイテンシの間の複雑なトレードオフを公開し、効果的にナビゲートする。 複数のメモリに敏感なMoEサービスシナリオに対して、PagedWeightは、いくつかの既存の量子化ベースラインに対する品質とメモリのトレードオフを改善している。 PagedWeightは、最大72.0%のGPUメモリセーブと1.94$\times$スループットの改善でFP16と同値の精度を達成し、同じメモリ予算で39.3%まで改善し、スループット損失は4.1%である。

関連論文リスト

• ECO: Quantized Training without Full-Precision Master Weights [58.97082407934466]
  Error-Compensating (ECO)は、量子化されたパラメータに直接更新を適用することで、マスターウェイトを除去する。 ECO は最適値の定数半径近傍に収束するが、素早いマスターウェイト除去は学習率に逆比例する誤差を生じさせる。
  論文  参考訳（メタデータ） (2026-01-29T18:35:01Z)
• KV Pareto: Systems-Level Optimization of KV Cache and Model Compression for Long Context Inference [2.8485297992257017]
  長文Long-context Large Language Models (LLMs) は、キー値(KV)キャッシュとシーケンス長の線形成長により、推論中に重要なメモリボトルネックに直面している。 KVキャッシュの量子化、チャンクプリフィル、モデルウェイト量子化といった個別の最適化手法は、将来性を示しているが、それらの共同効果とエッジ展開のための最適構成は、まだ未定である。
  論文  参考訳（メタデータ） (2025-12-01T18:03:47Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• Task-Circuit Quantization: Leveraging Knowledge Localization and Interpretability for Compression [55.323397702682506]
  後トレーニング量子化(PTQ)は、コストのかかる再トレーニングなしに全精度重みを低ビット重みにマッピングすることで、モデルのメモリフットプリントを削減する。 我々は,自動回路発見に並列性を持つ新しい混合精度PTQ手法であるTask-Circuit Quantization (TaCQ)を開発した。
  論文  参考訳（メタデータ） (2025-04-10T02:19:03Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• SliM-LLM: Salience-Driven Mixed-Precision Quantization for Large Language Models [63.118592279833656]
  後学習量子化(PTQ)は,大規模言語モデル(LLM)の圧縮に有効な手法である 本稿では,SliM-LLMを提案する。SliM-LLMは,グループ単位でビット幅を割り当てるサリエンス駆動の混合精度量子化フレームワークである。 実験により、SliM-LLMは低ビット幅の様々なLLMにおいて優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-05-23T16:21:48Z)
• WKVQuant: Quantizing Weight and Key/Value Cache for Large Language Models Gains More [55.0856305773081]
  大規模言語モデル (LLM) は、そのメモリ要求と自動回帰テキスト生成プロセスの計算要求のために、重要なデプロイメント課題に直面している。 本稿では、モデルパラメータとアクティベーションを低ビット整数に変換することでメモリ消費を低減する手法であるLCMの量子化に着目し、これらの課題に対処する。
  論文  参考訳（メタデータ） (2024-02-19T11:33:21Z)
• Mixture of Quantized Experts (MoQE): Complementary Effect of Low-bit Quantization and Robustness [10.196942053244468]
  大規模なMixture of Experts (MoE)モデルは、様々な言語タスクで最先端の品質を達成することができる。 MoQEは、超低ビットから2ビットまでの量子化を専門家の重みのみに適用する単純な重みのみの量子化法である。 低ビット量子化とMoEアーキテクチャは信頼性の高いモデル性能を提供することを示す。
  論文  参考訳（メタデータ） (2023-10-03T20:11:23Z)
• OmniQuant: Omnidirectionally Calibrated Quantization for Large Language Models [57.27101446992148]
  大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。 近年のPTQ法はメモリフットプリントの削減とLLMの計算効率の向上に有効である。 多様な量子化設定において優れた性能を実現するLLMのOmnidirectly calibrated Quantization手法を提案する。
  論文  参考訳（メタデータ） (2023-08-25T02:28:35Z)
• FineQuant: Unlocking Efficiency with Fine-Grained Weight-Only Quantization for LLMs [9.072821427818557]
  大規模言語モデル(LLM)は、様々な言語タスクで最先端のパフォーマンスを達成しているが、実用的なデプロイメントには課題がある。 メモリ消費を削減し,LLMの推論を高速化する,効率的な重みのみの量子化法を提案する。 我々は,OPT-175Bや内部MoEモデルのような大規模オープンソースモデルに対するアプローチを評価し,スループットを最大3.65倍に向上しながら,最小限の精度の損失を示す。
  論文  参考訳（メタデータ） (2023-08-16T23:57:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。