論文の概要: RoPE-Aware Bit Allocation for KV-Cache Quantization

• arxiv url: http://arxiv.org/abs/2606.24033v1
• Date: Tue, 23 Jun 2026 00:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-24 22:16:48.715749
• Title: RoPE-Aware Bit Allocation for KV-Cache Quantization
• Title（参考訳）: KVキャッシュ量子化のための RoPE 対応ビット割り当て
• Authors: Fengfeng Liang, Yuechen Zhang, Jiaya Jia,
• Abstract要約: Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
• 参考スコア（独自算出の注目度）: 52.099459337231345
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing low-bit KV-cache quantizers often treat each cached key as a flat vector. Under RoPE, however, a key's contribution to a future attention logit decomposes into a position-dependent sum over two-dimensional frequency blocks. This makes key-cache quantization a block-wise bit-allocation problem: high-energy RoPE blocks are more sensitive to quantization error and should receive more bits. We introduce Block-GTQ, a RoPE-aware bit allocator for key-cache quantization built on TurboQuant-MSE(TQ-MSE). For each layer and KV head, Block-GTQ computes a label-free energy score for each RoPE block and greedily allocates integer bit widths by marginal gain. Under matched K/V bit budgets, Block-GTQ better preserves RoPE query-key logits on a ten-model diagnostic panel, cutting per-layer MAE by 32-80% at 2 and 3 b/dim K-only quantization and winning all 367/367 layer comparisons against uniform TQ-MSE. These fidelity gains translate to stronger downstream long-context retrieval, understanding, and reasoning. At K2V2 on Llama-3.1-8B-Instruct, Block-GTQ raises the six-task NIAH average from 70.6 to 97.4, and the LongBench-EN average from 36.87 to 53.31. On AIME 2024/2025 with DeepSeek-R1-Distill-Qwen-7B, without an fp16 recent-key buffer, Block-GTQ at K3V2 scores 51.7/37.5, close to fp16's 54.2/37.9, whereas uniform TQ-MSE collapses to 0.0/0.0. We further implement a packed-cache serving path. On a single H800 GPU with Qwen2.5-3B-Instruct, packed K3V3 achieves 3.24x KV-cache compression with fp16-comparable quality, runs 1.34x faster than fp16 FlashAttention2 at 128K context, reduces peak memory from 56.31 GB to 19.85 GB, and remains feasible at 256K and 512K where fp16 OOMs. Code is available at https://github.com/JIA-Lab-research/blockgtq.
• Abstract（参考訳）: 既存のKVキャッシュ量子化器は、各キャッシュされた鍵をフラットベクトルとして扱うことが多い。 しかし、RoPEの下では、キーの将来のアテンションロジットへの寄与は2次元の周波数ブロック上の位置依存和に分解される。 高いエネルギーのRoPEブロックは量子化エラーに敏感であり、より多くのビットを受け取る必要がある。 我々はTurboQuant-MSE(TQ-MSE)上に構築されたキーキャッシュ量子化のためのRoPE対応ビットアロケータであるBlock-GTQを紹介する。 各層とKVヘッドに対して、Block-GTQは各RoPEブロックのラベルなしエネルギースコアを計算し、余分なゲインで整数ビット幅を優しく割り当てる。 一致したK/Vビットの予算の下では、Block-GTQは10モデルの診断パネル上でRoPEクエリキーのロジットを保存し、層ごとのMAEを2と3b/dim Kのみの量子化で32-80%削減し、均一なTQ-MSEと比較して367/367層の比較に勝利する。 これらの忠実度は、下流のより強い長文検索、理解、推論に変換される。 Llama-3.1-8B-InstructのK2V2では、Block-GTQは6タスクのIAH平均を70.6から97.4に、LongBench-EN平均を36.87から53.31に引き上げている。 AIME 2024/2025 with DeepSeek-R1-Distill-Qwen-7B, without a fp16 recent-key buffer, K3V2 scores 51.7/37.5, close to fp16's 54.2/37.9, while uniform TQ-MSE collapses 0.0/0.0。 私たちはさらに、満員のキャッシュサービスパスを実装します。 Qwen2.5-3B-Instructを持つ1つのH800 GPUでは、満載のK3V3は、fp16互換の3.24倍 KV-cache圧縮を実現し、128Kコンテキストでfp16 FlashAttention2より1.34倍高速に動作し、ピークメモリを56.31GBから19.85GBに削減し、fp16 OOMの256Kと512Kで引き続き実現可能である。 コードはhttps://github.com/JIA-Lab-research/blockgtq.comで公開されている。

関連論文リスト

• NestedKV: Nested Memory Routing for Long-Context KV Cache Compression [35.62789874560166]
  NestedKVは、Nested LearningのContinuum Memory SystemにインスパイアされたキーのみのKVキャッシュ圧縮方式である。 マルチタイムスケールのコサイン異常によってトークンをスコアし、その結果のランキングとトレーニング不要な外部学習者を組み合わせる。
  論文  参考訳（メタデータ） (2026-05-26T08:14:39Z)
• XFP: Quality-Targeted Adaptive Codebook Quantization with Sparse Outlier Separation for LLM Inference [0.0]
  XFPはコードブックのサイズ、アウトリーチ予算、レイヤごとのパッケージを自動的に決定する。 XFPはワークステーションハードウェア上で128 tok/sのシングルストリームデコードに達する。 対象メモリエンベロープに収まらないモデルに対しては、H-Processを示す。
  論文  参考訳（メタデータ） (2026-05-14T13:52:31Z)
• LOOKAT: Lookup-Optimized Key-Attention for Memory-Efficient Transformers [0.0]
  現在の量子化法では、ストレージを圧縮するが、注意計算では、使用前にINT4/INT8からFP16へ鍵を復号化する必要があるため帯域幅を削減できない。 本稿では,鍵ベクトルを部分空間に分解することで,製品量子化と非対称距離計算をトランスフォーマーアーキテクチャに適用するLOokaTを提案する。
  論文  参考訳（メタデータ） (2026-01-15T07:54:07Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
  そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。 本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。 Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
  論文  参考訳（メタデータ） (2024-09-30T19:09:13Z)
• PyramidInfer: Pyramid KV Cache Compression for High-throughput LLM Inference [57.53291046180288]
  大規模言語モデル(LLM)は、目覚ましい理解能力を示しているが、推論中のGPUメモリ使用の課題に直面している。 本稿では,KVキャッシュを重要なコンテキストを階層的に保持することで圧縮するPraamidInferを提案する。 PyramidInferは、KVキャッシュで54%以上のGPUメモリを削減したAccelerateと比較して、2.2倍のスループットを改善している。
  論文  参考訳（メタデータ） (2024-05-21T06:46:37Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。