論文の概要: Read What Matters: Query-Adaptive Quantization for KV Caches

• arxiv url: http://arxiv.org/abs/2610.11245v1
• Date: Thu, 08 Oct 2026 04:47:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.808539
• Title: Read What Matters: Query-Adaptive Quantization for KV Caches
• Title（参考訳）: KVキャッシュに対するクエリ適応量子化(Query-Adaptive Quantization)
• Abstract要約: KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。 我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。 各クエリに対して、ReadKVはクエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。
• 参考スコア（独自算出の注目度）: 6.942025710859187
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: KV-cache entries are stored before their future queries are known, but each decoding query needs precision in different places. We study this mismatch using separate budgets for retained bits and bits fetched per query. ReadKV stores each key and value in a progressive code whose prefixes support different reconstruction precisions. For each query, it allocates key-channel prefixes using the query, computes attention from the reconstructed keys, and then allocates value-token prefixes using that attention. Stored entries remain unchanged. Each stage optimizes a calibrated distortion objective under a fixed budget; we prove exact allocation under diminishing refinement gains and relate these objectives to attention-output error. We also exhibit a finite-dimensional attention family where query-dependent access strictly outperforms every query-independent reader at the same read budget, even with unrestricted competing encoders and decoders. Across six base models, reading four bits on average from an eight-bit cache increases C4 perplexity by at most 0.66%, using about one quarter of the logical reads and half the retained capacity of a 16-bit cache. It is consistently more accurate than storing and fully reading four bits at the same payload-read budget. Retaining more bits than each query fetches is aimed at long-context decoding, where the cache bytes moved per step, rather than the weights, dominate cost. Long-context question answering and retrieval on two instruction-tuned models provide additional quality evidence. On the tested 8K-token, batch-one, single-layer workload on an NVIDIA A10G, a restricted eight-bit ReadKV reader with a two-bit mean payload-read budget has 39% lower latency than the tested TurboQuant codec.
• Abstract（参考訳）: KV-cacheエントリは、将来のクエリが知られる前に格納されるが、それぞれのデコードクエリは、異なる場所で精度を必要とする。 我々はこのミスマッチを,クエリ毎に取得した保持ビットとビットに対して,個別の予算を用いて検討する。 ReadKVは各キーと値を、プレフィックスが異なる再構成精度をサポートするプログレッシブコードに格納する。 各クエリに対して、クエリを使用してキーチャネルのプレフィックスを割り当て、再構成されたキーから注意を計算し、そのアテンションを使用してバリュートークンのプレフィックスを割り当てる。 保存されたエントリは変更されていない。 各段階は、固定された予算の下で調整された歪み目標を最適化し、改良利得の低減の下で正確な割り当てを証明し、これらの目的を注意出力誤差に関連付ける。 また、クエリに依存しないアクセスは、制限のない競合するエンコーダやデコーダであっても、同じ読み込み予算で全てのクエリ非依存の読者を厳密に上回る有限次元のアテンションファミリを示す。 6つのベースモデルで、平均8ビットキャッシュから4ビットを読み取ると、論理的な読み込みの約4分の1と16ビットキャッシュの保持容量の半分を使用して、C4のパープレキシティが少なくとも0.66%向上する。 同じペイロード読み取り予算で4ビットを保存し、完全に読み取るよりも、一貫して正確である。 各クエリフェッチよりも多くのビットを保持することは、長いコンテキストのデコーディングを目的としており、そこでは、重みではなく、ステップ毎にキャッシュバイトが移動し、コストが支配される。 2つの命令調整されたモデルの長文質問応答と検索は、さらなる品質証拠を提供する。 NVIDIA A10G上でテストされた8Kトーケン、バッチワン、シングルレイヤのワークロードでは、制限付き8ビットのReadKVリーダーで、2ビットの平均ペイロード読み取り予算がテストされたTurboQuantコーデックよりも39%低いレイテンシを持つ。

関連論文リスト

• Dual-QK: Sharp Queries and Flat Keys for Prunable 2-bit KV Caches [5.675724517644714]
  長い入力と拡張生成により、キー値(KV)キャッシュのストレージとアクセスコストが増大する。 低ビット量子化はストレージとメモリのトラフィックを減らし、クエリチャネルのプルーニングはキーキャッシュの読み込みをさらに減らします。 この競合に対処するために、ペア化された非直交クエリとキー変換を使用するDual-QKを導入する。
  論文  参考訳（メタデータ） (2026-10-07T10:50:06Z)
• Fathom: Per-Query Read Depth for Sparse Decoding over Offloaded KV Caches [0.0]
  Fathomは、各クエリが読み込むキーチャンネルのビット数を決定するキースキャンである。 Qwen3-8Bで100万トークンを使用すると、デコードステップはGPU時間で1.67倍高速になる。
  論文  参考訳（メタデータ） (2026-09-15T16:53:01Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• SPECTRA: Pushing the KV Cache Beyond the 2-Bit Cliff via Spectral Transform Coding [14.865252861545672]
  大規模言語モデル (LLM) はエージェント時代の長い入力を読み取る傾向にある。 既存のほとんどのメソッドは、保存されたすべての値を同じ低い精度に下げることで、KVキャッシュを圧縮する。 我々は、信号を運ぶチャネルにビット予算を集中させる訓練不要のドロップインであるSPECTRAを開発する。
  論文  参考訳（メタデータ） (2026-08-08T04:43:22Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• HAWQV3: Dyadic Neural Network Quantization [73.11579145354801]
  現在の低精度量子化アルゴリズムは、浮動小数点から量子化された整数値への変換の隠れコストを持つことが多い。 HAWQV3は、新しい混合精度整数のみの量子化フレームワークである。
  論文  参考訳（メタデータ） (2020-11-20T23:51:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。