論文の概要: SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving

• arxiv url: http://arxiv.org/abs/2604.19157v1
• Date: Tue, 21 Apr 2026 07:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.664293
• Title: SAW-INT4: System-Aware 4-Bit KV-Cache Quantization for Real-World LLM Serving
• Title（参考訳）: SAW-INT4:4ビットKVキャッシュ量子化による実世界LLMの実現
• Authors: Jinda Jia, Jisen Li, Zhongzhu Zhou, Jung Hwan Heo, Jue Wang, Tri Dao, Shuaiwen Leon Song, Ben Athiwaratkun, Chenfeng Xu, Tianyi Zhang, Xiaoxia Wu,
• Abstract要約: KV-cacheは、現実世界のLLMサービスにおける主要なボトルネックである。 多くのKV-cache圧縮法は実用的なサービス制約に違反している。 我々は、ページ化されたKV-cacheレイアウトに直接統合する融合回転量子化カーネルを実装した。
• 参考スコア（独自算出の注目度）: 42.268254679163725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV-cache memory is a major bottleneck in real-world LLM serving, where systems must simultaneously support latency-sensitive small-batch requests and high-throughput concurrent workloads. Although many KV-cache compression methods improve offline accuracy or compression ratio, they often violate practical serving constraints such as paged memory layouts, regular memory access, and fused attention execution, limiting their effectiveness in deployment. In this work, we identify the minimal set of 4-bit KV-cache quantization methods that remain viable under these constraints. Our central finding is that a simple design--token-wise INT4 quantization with block-diagonal Hadamard rotation--consistently achieves the best accuracy-efficiency trade-off. Across multiple models and benchmarks, this approach recovers nearly all of the accuracy lost by naive INT4, while more complex methods such as vector quantization and Hessian-aware quantization provide only marginal additional gains once serving compatibility is taken into account. To make this practical, we implement a fused rotation-quantization kernel that integrates directly into paged KV-cache layouts and introduces zero measurable end-to-end overhead, matching plain INT4 throughput across concurrency levels. Our results show that effective KV-cache compression is fundamentally a systems co-design problem: under real serving constraints, lightweight block-diagonal Hadamard rotation is a viable method that delivers near-lossless accuracy without sacrificing serving efficiency.
• Abstract（参考訳）: KVキャッシュメモリは、リアルタイムLLMサービスにおいて主要なボトルネックであり、システムはレイテンシに敏感な小さなバッチリクエストと高スループットの並列処理を同時にサポートする必要がある。 多くのKV-cache圧縮手法はオフラインの精度や圧縮率を改善するが、ページメモリレイアウト、通常のメモリアクセス、ファスドアテンションの実行といった実用的な制約に反し、デプロイメントにおける有効性を制限している。 本研究では,これらの制約下でも有効である4ビットKV-cache量子化法の最小セットを同定する。 我々の中心的な発見は、ブロック対角アダマール回転による単純な設計のINT4量子化が、最良の精度と効率のトレードオフを実現することである。 複数のモデルとベンチマークにおいて、本手法は単純なINT4によって失われるほぼすべての精度を回復する一方、ベクトル量子化やヘッセン対応量子化のようなより複雑な手法は、互換性を考慮に入れれば限界的な追加利得しか得られない。 これを実現するために、我々は、ページ化されたKVキャッシュレイアウトに直接統合し、測定可能なエンドツーエンドのオーバヘッドを導入し、並行性レベルにまたがる平易なINT4スループットを一致させるフューズドローテーション量子化カーネルを実装した。 実効性 KV-cache 圧縮はシステム共設計問題であり, 実効性制約の下では, 軽量ブロック対角アダマール回転は, 有効効率を犠牲にすることなく, ほぼ無作為の精度を実現することができる方法である。

関連論文リスト

• Joint Encoding of KV-Cache Blocks for Scalable LLM Serving [3.3230675313521716]
  既存のKV-cache圧縮手法は剛性に依存し、テンソルレイアウトを乱したり、特別な計算を必要とする。 KV-cacheブロックの連成符号化を提案し、要求と入力チャンクに類似したブロックを融合して共有表現を生成する。 これにより、KV-cacheメモリのボトルネックが軽減され、特別なハードウェアを使わずに高コンカレンシー機能をサポートする。
  論文  参考訳（メタデータ） (2026-01-06T14:50:58Z)
• SWAN: Sparse Winnowed Attention for Reduced Inference Memory via Decompression-Free KV-Cache Compression [7.603859408568262]
  大きな言語モデル(LLM)は、キーバリュー(KV)キャッシュの巨大なメモリフットプリントのため、自動回帰推論において重大なボトルネックに直面します。 SWANは、このオーバーヘッドをなくす、新しい、微調整不要なフレームワークである。 提案手法はオフライン行列を用いてKV-cacheを回転させプルークする。
  論文  参考訳（メタデータ） (2025-11-24T09:41:24Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVmix: Gradient-Based Layer Importance-Aware Mixed-Precision Quantization for KV Cache [13.662270631753135]
  量子化は、KVキャッシュによって引き起こされるメモリ圧力を効果的に軽減することができる。 KVmix と呼ばれる KV キャッシュのための新しい混合精度量子化法を提案する。
  論文  参考訳（メタデータ） (2025-05-18T07:04:53Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• KVCrush: Key value cache size-reduction using similarity in head-behaviour [40.792661186062396]
  大規模言語モデル(LLM)における推論を高速化する重要な最適化手法としてキーバリューキャッシュ(KV)が登場している。 しかしながら、KVのメモリフットプリントは、モデルのバッチサイズに直接影響を与えるモデルデプロイメントにおいて、大きなボトルネックとなります。 我々は,KVCrushと多くのKV圧縮技術を組み合わせることで,より小さなメモリでモデル精度を向上させることを提案する。
  論文  参考訳（メタデータ） (2025-02-24T02:57:51Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。