論文の概要: Tailoring the Quantization Space for 1-Bit KV Cache Compression

• arxiv url: http://arxiv.org/abs/2610.03027v1
• Date: Fri, 02 Oct 2026 09:04:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.293245
• Title: Tailoring the Quantization Space for 1-Bit KV Cache Compression
• Title（参考訳）: 1ビットKVキャッシュ圧縮のための量子化空間の調整
• Abstract要約: キー値(KV)キャッシュは、長期LLM推論において主要なメモリボトルネックとなる。 このボトルネックを軽減するために、ベクトル量子化(VQ)は攻撃的なKVキャッシュ圧縮のための有望なアプローチとして登場した。 我々は、クエリ誘導チャネル重み付け、クロスヘッド正規化、共分散対応チャネルグループ化を組み合わせることで、VQターゲットスペースを調整できる$textbfTaSQ$を紹介した。
• 参考スコア（独自算出の注目度）: 9.01640341165952
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The key-value (KV) cache becomes a major memory bottleneck in long-context LLM inference, placing substantial pressure on memory capacity and bandwidth. To mitigate this bottleneck, vector quantization (VQ) has emerged as a promising approach for aggressive KV cache compression. However, existing VQ methods degrade substantially in the 1-bit regime. At such extreme compression, each codebook must represent a larger group of channels with a limited set of centroids, making effective use of its capacity increasingly challenging. To address this, we introduce $\textbf{TaSQ}$, which tailors the VQ target space by combining query-guided channel weighting, cross-head normalization, and covariance-aware channel grouping to better reflect the error sensitivity and statistical structure of cached activations. Since these transforms are RoPE-compatible and can be easily merged into projection weights and codebooks, TaSQ preserves the conventional VQ lookup structure and adds negligible serving overhead. Across general, long-chain-of-thought reasoning, and long-context retrieval benchmarks, TaSQ consistently outperforms existing low-bit KV cache VQ baselines while preserving reasoning stability. On a single RTX 6000 Ada GPU, its SGLang implementation supports up to $14\times$ larger batch sizes and achieves $1.87\times$ higher peak throughput compared to the BF16 baseline.
• Abstract（参考訳）: キー値(KV)キャッシュは長文LLM推論において大きなメモリボトルネックとなり、メモリ容量と帯域幅にかなりの圧力をかける。 このボトルネックを軽減するために、ベクトル量子化(VQ)は攻撃的なKVキャッシュ圧縮のための有望なアプローチとして登場した。 しかし、既存のVQ法は1ビット法で大幅に劣化した。 このような極端な圧縮では、各コードブックは、制限されたセントロイドのセットを持つより大きなチャネルのグループを表現しなければならないため、その能力の有効利用はますます困難になっている。 これを解決するために、$\textbf{TaSQ}$を導入し、クエリ誘導チャネル重み付け、クロスヘッド正規化、共分散対応チャネルグループ化を組み合わせることで、キャッシュされたアクティベーションのエラー感度と統計的構造をよりよく反映する。 これらの変換は RoPE 互換であり、投射重みとコードブックに簡単にマージできるため、TaSQ は従来の VQ ルックアップ構造を保持し、サービスオーバーヘッドを無視できる。 一般的な長チェーン推論と長コンテキスト検索ベンチマークでは、TaSQは推論安定性を保ちながら、既存の低ビットKVキャッシュVQベースラインを一貫して上回っている。 1つのRTX 6000 Ada GPU上では、SGLang実装は最大14\times$より大きなバッチサイズをサポートし、BF16ベースラインと比較して1.87\times$高いピークスループットを実現している。

関連論文リスト

• GSRQ: Gain-Shape Residual Quantization for Sub-1-bit KV Cache [1.6471056713523724]
  ベクトル量子化(VQ)は、KVキャッシュストレージをサブ-1ビットレシエーションにプッシュするための有望なアプローチである。 ほとんどのVQメソッドは、コアコードブック学習プリミティブとして標準$ell$K$-meansに依存している。 提案するGain-Shape $K$-means (GSKM) は$K$-meansの代替品で、マッチング中に方向の忠実度を改善する。
  論文  参考訳（メタデータ） (2026-07-01T15:25:21Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
  KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。 プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
  論文  参考訳（メタデータ） (2025-05-24T10:34:38Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• A Simple and Effective $L_2$ Norm-Based Strategy for KV Cache Compression [13.981807478365452]
  キーバリューキャッシュサイズを減らすための既存のアプローチは、圧縮戦略を学ぶためのモデルを微調整するか、シーケンス長を減らすためにアテンションスコアを利用するかのいずれかである。 キャッシュされたKVペアに対して、$L$とアテンションスコアとの間に明らかな相関関係が見られ、キー埋め込みの低い$L$がデコード時に高いアテンションスコアをもたらす。 実験の結果,この単純な手法により,言語モデリングやニードル・イン・ア・ヘイスタックタスクでは50%,パスキー検索タスクでは90%,精度を損なうことなく,KVキャッシュサイズを50%削減できることがわかった。
  論文  参考訳（メタデータ） (2024-06-17T11:35:16Z)
• KV Cache is 1 Bit Per Channel: Efficient Large Language Model Inference with Coupled Quantization [34.824534775022144]
  KVキャッシュ圧縮の手法として結合量子化(CQ)を提案する。 CQは複数のキー/バリューチャネルを結合して、その依存性を利用して、より情報効率の良い方法でアクティベーションをエンコードする。 我々は,KVキャッシュを1ビットまで量子化することで,CQがモデル品質を維持できることを実証した。
  論文  参考訳（メタデータ） (2024-05-07T00:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。