論文の概要: Quality Recovery for Quantized KV Caches via Low-Rank Attention Adaptation

• arxiv url: http://arxiv.org/abs/2609.04263v1
• Date: Wed, 02 Sep 2026 13:37:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-07 18:15:23.754749
• Title: Quality Recovery for Quantized KV Caches via Low-Rank Attention Adaptation
• Title（参考訳）: 低ランクアテンション適応による量子化KVキャッシュの品質回復
• Abstract要約: 低ランクなプロジェクション適応は、固定されたキャッシュフォーマット間でホールドアウト品質を回復できるが、難易度回復は長文検索を復元する必要はない。 その結果、低ランクなプロジェクション適応は固定キャッシュフォーマット間でホールドアウト品質を回復できるが、難易度回復は長文検索を復元する必要がないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Low-bit key--value (KV) caches reduce the memory required for autoregressive decoding, but the resulting quality loss depends on the model and quantizer. We keep the quantizer fixed and distill the floating-cache model's behavior into low-rank Q/K/V projection updates while the student executes a physically packed incremental cache. Across three seeds, 4-bit affine-cache adapters recover $54.24\%\pm2.47\%$ of the held-out perplexity gap on TinyLlama-1.1B and $75.96\%\pm4.04\%$ on Gemma-4-12B. On the same frozen NF4 Llama-3.1-8B base, one validation-selected run per quantizer recovers $60.42\%$ under KIVI K2V2 and $37.61\%$ under KVarN K4V2, while preserving 180-case associative retrieval. Gemma's score on an official 4K/8K RULER subset rises from 42.80 with the unadapted 4-bit cache to 48.33 after adaptation (46.15 floating), with substantial task heterogeneity. Finally, a 2-bit rank--token sweep reduces TinyLlama's 2-bit PPL from 576.10 to $11.4000\pm0.0059$ across three seeds, versus 10.3988 floating, but restores only 11--12 of 180 retrieval cases. These results show that low-rank projection adaptation can recover held-out quality across fixed cache formats, while perplexity recovery need not restore long-context retrieval.
• Abstract（参考訳）: 低ビットキー値(KV)キャッシュは自己回帰デコードに必要なメモリを削減するが、結果として得られる品質損失はモデルと量子化器に依存する。 我々は、量子化器を固定し、フローティングキャッシュモデルの動作を低ランクQ/K/Vプロジェクション更新に蒸留し、学生は物理的に満載のインクリメンタルキャッシュを実行する。 3つの種にわたって、4ビットのアフィン・キャッチアダプターは、TinyLlama-1.1Bで保持される難易度ギャップの54.24\%\pm2.47\%、Gemma-4-12Bで75.96\%\pm4.04\%を回復する。 同じ凍結したNF4 Llama-3.1-8Bベースでは、量子化器当たりの1つのバリデーション選択ランがKIVI K2V2で60.42\%、KVarN K4V2で37.61\%、180ケースの連想検索を保存しながら回復する。 公式の4K/8K RULERサブセットでのGemmaのスコアは、未適応の4ビットキャッシュで42.80から48.33に上昇し(46.15フローティング)、タスクの不均一性がかなり高い。 最後に、TynyLlamaの2ビットPPLを576.10から11.4000\pm0.0059$に減らし、10.3988浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数点浮動小数奇数奇数小数奇数小数奇数小数奇数小数奇数小数小数奇数小数奇数小数小数奇数小数小数小数小数小数小数奇数小数小数奇数小数小数 これらの結果から、低ランクなプロジェクション適応は固定されたキャッシュフォーマットで保留品質を回復できるが、難易度回復は長文検索を復元する必要がない。

関連論文リスト

• RestoreKV: Recovering Full-Cache Behavior Under Aggressive Query-Agnostic KV Cache Eviction [10.668136973950453]
  KVキャッシュ消去はコンテキストを一度圧縮し、結果のキャッシュを任意の将来のクエリに再利用するが、パフォーマンスは厳しい予算の下で崩壊する可能性がある。 本稿では,この選択に基づく定式化を補完するRestoreKVを紹介する。 我々の重要な洞察は、排除によって失った情報は文脈固有であるが、そのコンパクトな補完を生成するメカニズムはコンテキスト間で共有できるということである。
  論文  参考訳（メタデータ） (2026-08-02T13:58:42Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers [4.632241550169362]
  学習後キャッシュであるLooped Latent Attention (LLA)を導入し, ループ固有のK/Vベクトルを, 注目が集まるとのみ再構成する。 キャッシュ予算の整合により、ヘッド軸MLA、層間共有、KV量子化、最終ループ再利用に優れる。 同じ利点は、Ouro-2.6B-シンキングを抑え、Huginn-3.5Bに転送する。
  論文  参考訳（メタデータ） (2026-07-16T20:58:16Z)
• RoPE-Aware Bit Allocation for KV-Cache Quantization [52.099459337231345]
  Block-GTQはTurboQuant-MSE上に構築されたキーキャッシュ量子化のためのビットアロケータである。 これは、RoPEクエリキーのロジットを10モデル診断パネルに保存する。 128Kコンテキストでfp16 FlashAttention2より1.34倍高速で動作する。
  論文  参考訳（メタデータ） (2026-06-23T00:17:48Z)
• The Residual Stream Is All You Need: On the Redundancy of the KV Cache in Transformer Inference [3.378773775514883]
  キー値(KV)キャッシュは、トランスフォーマー推論において必須の状態として広く扱われる。 各層におけるキーと値が残留ストリームの決定論的射影であることを証明する。 我々は、境界メモリ推論スキームであるKV-Directを用いて、この結果に基づいて構築する。
  論文  参考訳（メタデータ） (2026-03-20T05:59:50Z)
• Agent Memory Below the Prompt: Persistent Q4 KV Cache for Multi-Agent LLM Inference on Edge Devices [0.0]
  エッジデバイス上のマルチエージェントLLMシステムは、メモリ管理の問題に直面している。 10.2GBのキャッシュ予算を持つApple M4 Proでは、FP16の8Kコンテキストに適合するエージェントは3つしかない。 我々は、各エージェントのKVキャッシュを4ビットの量子化フォーマットでディスクに永続化することで、この問題に対処する。
  論文  参考訳（メタデータ） (2026-02-17T05:46:20Z)
• Don't be so Stief! Learning KV Cache low-rank approximation over the Stiefel manifold [7.162701793686856]
  StiefAttentionは、出力再構成誤差を直接最小化し、インフォノーマルプロジェクションベースを学習するKV-cache圧縮手法である。 これは、C4の難易度が11.9ドル、0ショットMMLUの精度が5.4%でEigenAttentionを上回り、元のデコーダ層出力に対する相対誤差が低く、コサイン類似度も高い。
  論文  参考訳（メタデータ） (2026-01-29T13:19:24Z)
• XQuant: Breaking the Memory Wall for LLM Inference with KV Cache Rematerialization [58.92253769255316]
  LLM推論はメモリフットプリントと帯域幅の要求のために困難である。 XQuantは、ハードウェアプラットフォームの急速に増加する計算能力を利用して、メモリボトルネックを取り除く。 XQuant-CLは、極端な圧縮のためにX埋め込みの層間類似性を利用する。
  論文  参考訳（メタデータ） (2025-08-14T06:52:38Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• SVDQuant: Absorbing Outliers by Low-Rank Components for 4-Bit Diffusion Models [61.474101404805545]
  拡散モデルは高品質なイメージを生成することができるが、スケールするにつれて、メモリ要求が増加し、より高いレイテンシがデプロイメント上の課題を引き起こす。 この制限を克服する新しい4ビット量子化パラダイムであるSVDQuantを提案する。 We reduce the memory usage for the 12B FLUX.1 models by 3.5$times$, achieved 3.0$times$ speedup over the 4-bit weight-only Quantization (W4A16) baseline。
  論文  参考訳（メタデータ） (2024-11-07T18:59:58Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。