論文の概要: ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals

• arxiv url: http://arxiv.org/abs/2610.10381v1
• Date: Wed, 07 Oct 2026 16:40:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:23.053634
• Title: ResidualQuant: KV Cache Quantization for Looped Transformers with 2-Bit Residuals
• Title（参考訳）: ResidualQuant: 2ビット残量を持つループ変換器のKVキャッシュ量子化
• Abstract要約: KVキャッシュメモリはループ数に応じてスケールする。 KVキャッシュの量子化は、このボトルネックを軽減することができるが、既存の手法は、攻撃的な低精度のレシエーションにおいて、かなりの精度の劣化に悩まされることが多い。 本稿では、最終ループKV状態を参照として用いて、低精度残差を持つ残りのループを表すResidualQuantを提案する。
• 参考スコア（独自算出の注目度）: 15.662099173724677
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Looped Transformers improve parameter efficiency by repeatedly applying shared Transformer blocks over multiple recurrent loops, increasing computational depth without increasing the parameter count. However, KV cache memory still scales with the number of loops, becoming a key memory bottleneck that limits batch size and inference throughput. KV cache quantization can alleviate this bottleneck, but existing methods often suffer substantial accuracy degradation at aggressive low-precision regimes. We observe that looped Transformers offer a unique opportunity: KV states across loops are highly similar. Based on this observation, we propose ResidualQuant, which uses the final-loop KV states as a reference and represents the remaining loops with low-precision residuals. Our method further combines least-square scaling and rotations applied to the residuals, as well as loop-wise mixed precision, to enable accurate quantization down to INT2 while retaining efficient reconstruction. Across multiple looped Transformer models and mathematical reasoning and code generation benchmarks, ResidualQuant consistently improves the accuracy-memory tradeoff over state-of-the-art rotation-based KV quantization. In particular, our method retains accuracy close to BF16 under mixed-precision settings while reducing theoretical KV storage by 80.7%, achieving up to 13.0% higher accuracy than the rotation-based baseline at the same memory budget. On an RTX 5090, the reduced KV memory traffic improves fixed-batch decode throughput by up to 2.73x, while the smaller memory footprint enables up to 2x larger batches, improving peak throughput by up to 4.15x.
• Abstract（参考訳）: ループ変換器は複数の繰り返しループに共有トランスフォーマーブロックを繰り返し適用することでパラメータ効率を向上し、パラメータ数を増やすことなく計算深度を増大させる。 しかしながら、KVキャッシュメモリはループ数とともにスケールし、バッチサイズと推論スループットを制限する主要なメモリボトルネックとなる。 KVキャッシュの量子化は、このボトルネックを軽減することができるが、既存の手法は、攻撃的な低精度のレシエーションにおいて、かなりの精度の劣化に悩まされることが多い。 我々はループ変換器がユニークな機会をもたらすことを観察する:ループをまたいだKV状態は極めてよく似ている。 そこで本研究では,最終ループKV状態を基準として,低精度残差を持つ残ループを表すResidualQuantを提案する。 提案手法は,残差に対する最小2乗のスケーリングと回転と,ループワイド混合精度を併用することにより,効率的な再構成を維持しつつ,INT2まで正確な量子化を可能にする。 ResidualQuantは、複数のループトランスフォーマーモデルと数学的推論とコード生成ベンチマークを通じて、最先端のローテーションベースのKV量子化に対する精度とメモリのトレードオフを一貫して改善する。 特に, 混合精度設定ではBF16に近い精度を保ちながら, 理論的なKVストレージを80.7%削減し, 同じメモリ予算での回転ベースラインよりも最大13.0%精度を実現している。 RTX 5090では、KVメモリトラフィックの削減により、固定バッチデコードスループットが最大2.73倍向上し、メモリフットプリントの縮小により最大2倍のバッチが実現され、ピークスループットが最大4.15倍向上した。

関連論文リスト

• WUSH-KV: KV Cache Quantization with Data-Adaptive Transforms [49.191043733828856]
  低ビット KV-cache 量子化のための WUSH-KV を導入する。 WUSHは行列生成物の両方の因子の2次統計からデータ認識変換を構築し、量子化誤差を低減する。 WUSH-KVをOSCAR型パーセンタイルクラッピングアフィン量子化によりSGLangに統合する。
  論文  参考訳（メタデータ） (2026-09-29T17:50:50Z)
• FlashLoop: Fast and Memory-Efficient Looped Transformers via Lazy Updates [25.238023242968524]
  我々は,トークンスパース更新,スパースアテンション,KV残差量子化によるクロスループ冗長性を低減する,トレーニングフリーな推論フレームワークであるFlashLoopを紹介した。 いくつかのLooped Transformersモデルで、FlashLoopは最大1.64$times$エンドツーエンドのスピードアップと最大6$times$KV-cacheメモリリダクションを提供する。
  論文  参考訳（メタデータ） (2026-09-24T13:47:03Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
  Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。 デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。 キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
  論文  参考訳（メタデータ） (2025-07-15T12:52:12Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• RotateKV: Accurate and Robust 2-Bit KV Cache Quantization for LLMs via Outlier-Aware Adaptive Rotations [4.794762861776729]
  キーバリュー(KV)キャッシュは、過去のKVの再計算を避けることにより、効率的な大言語モデル(LLM)推論を容易にする。 既存のKV量子化は、微細な量子化や高ビット幅キャッシュのかなりの部分の保持に依存している。 本稿では,以下の技術革新を通じて正確で堅牢な性能を実現するRotateKVを提案する。
  論文  参考訳（メタデータ） (2025-01-25T01:45:29Z)
• KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
  LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。 量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。 我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
  論文  参考訳（メタデータ） (2024-01-31T18:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。