論文の概要: Dual-QK: Sharp Queries and Flat Keys for Prunable 2-bit KV Caches

• arxiv url: http://arxiv.org/abs/2610.09827v1
• Date: Wed, 07 Oct 2026 10:50:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 21:58:22.858711
• Title: Dual-QK: Sharp Queries and Flat Keys for Prunable 2-bit KV Caches
• Title（参考訳）: Dual-QK: 実行可能な2ビットKVキャッシュのためのシャープクエリとフラットキー
• Abstract要約: 長い入力と拡張生成により、キー値(KV)キャッシュのストレージとアクセスコストが増大する。 低ビット量子化はストレージとメモリのトラフィックを減らし、クエリチャネルのプルーニングはキーキャッシュの読み込みをさらに減らします。 この競合に対処するために、ペア化された非直交クエリとキー変換を使用するDual-QKを導入する。
• 参考スコア（独自算出の注目度）: 5.675724517644714
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long inputs and extended generation increase the storage and access costs of the key-value (KV) cache. Low-bit quantization reduces storage and memory traffic, while query-channel pruning can further reduce key-cache reads. Rotation-based quantization redistributes the energy of key outliers across channels. To maintain computational invariance, the same orthogonal transform must be applied to queries, preserving query-key dot products. However, this rotation can disperse query energy, weakening the separation between a few large components to retain and many small ones to prune. We introduce Dual-QK, which uses paired non-orthogonal query and key transforms to address this conflict. Using calibrated query and key statistics, Dual-QK combines partial key whitening with a query-aligned basis to balance key scales for INT2 quantization and concentrate query energy for dynamic channel pruning. Channel-0 protection and bucket-relative RoPE support low-bit accuracy over long contexts. Experiments on four models across five generative benchmarks and long-context retrieval tasks show improved accuracy over OSCAR on most tasks at 40% query-channel sparsity. At a 128K context, Dual-QK provides $6.8\times$ KV-cache compression and an estimated $8.3\times$ reduction in KV read volume relative to unpruned BF16. Under the evaluated configurations, our SGLang implementation achieves up to $3.75\times$ the decoding throughput of unpruned BF16.
• Abstract（参考訳）: 長い入力と拡張生成により、キー値(KV)キャッシュのストレージとアクセスコストが増大する。 低ビット量子化はストレージとメモリのトラフィックを減らし、クエリチャネルのプルーニングはキーキャッシュの読み込みをさらに減らします。 回転に基づく量子化は、チャネルをまたいだキーアウトリーのエネルギーを再分配する。 計算不変性を維持するためには、クエリに同じ直交変換を適用し、クエリキーのドット積を保存する必要がある。 しかし、この回転はクエリエネルギーを分散させ、保持するいくつかの大きなコンポーネントと多くの小さなコンポーネントの分離を弱める。 この競合に対処するために、ペア化された非直交クエリとキー変換を使用するDual-QKを導入する。 キャリブレーションされたクエリとキー統計を用いて、Dual-QKは部分的なキーホワイトニングとクエリ整合ベースの組み合わせにより、INT2量子化のためのキースケールと動的チャネルプルーニングのためのクエリエネルギーのバランスをとる。 Channel-0保護とバケット対応のRoPEは、長いコンテキストでの低ビット精度をサポートする。 5つの生成ベンチマークと長期コンテキスト検索タスクの4つのモデルに対する実験は、ほとんどのタスクにおいて、クエリチャネル間隔の40%でOSCARよりも精度が向上したことを示している。 128Kの文脈では、Dual-QKは6.8\times$ KV-cache圧縮と推定8.3\times$ KV読み取りボリュームを未処理のBF16と比較して削減する。 評価された構成の下では、SGLangの実装は、未実行のBF16の復号スループットで最大$3.75\timesを達成する。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• XQuant: Achieving Ultra-Low Bit KV Cache Quantization with Cross-Layer Compression [54.28208936996186]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにまたがる顕著な機能を示している。 量子化は、歴史的情報を保持しながらメモリ消費を減らすための有望な解決策として現れてきた。 超低等価ビット幅KVキャッシュ量子化を実現するトレーニングフリーでプラグアンドプレイのフレームワークであるXQuantを提案する。
  論文  参考訳（メタデータ） (2025-10-13T10:17:21Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• SVDq: 1.25-bit and 410x Key Cache Compression for LLM Attention [0.0]
  KVキャッシュ圧縮技術の主な3つのタイプ、すなわちスパシティ、チャネル圧縮、量子化が同定された。 本研究は,Kキャッシュの混合精度定量化法であるSVDqを提案する。
  論文  参考訳（メタデータ） (2025-02-21T08:55:21Z)
• Cache Me If You Must: Adaptive Key-Value Quantization for Large Language Models [28.16603647353951]
  AQUA-KVは、コンパクトアダプタに依存するキーバリューキャッシュの適応量子化である。 パープレキシティとLongBenchスコアの相対誤差を1%以下の値で2-2.5ビットで近似する。
  論文  参考訳（メタデータ） (2025-01-31T18:47:42Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。