論文の概要: VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs

• arxiv url: http://arxiv.org/abs/2607.15498v1
• Date: Thu, 16 Jul 2026 23:03:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.716311
• Title: VarRate: Training-Free Variable-Rate KV Cache Compression for Long-Context LLMs
• Title（参考訳）: VarRate: 長期LLMのためのトレーニング不要な可変KVキャッシュ圧縮
• Abstract要約: キーバリューキャッシュは、Long-context Large Language Model(LLM)推論における主要なメモリボトルネックである。 VarRateはトレーニング不要のKVで、クエリサリエンスによって各トークンに可変低ランクの予算を割り当て、すべてのトークンを非ゼロランクに保つ。 VarRateは4つの設定のうち3つで精度が同等で、全体の1ポイント以内で、プリフィルオーバーヘッドの約8分の1である。
• 参考スコア（独自算出の注目度）: 7.825137277264239
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The key-value (KV) cache is the main memory bottleneck in long-context large language model (LLM) inference. Two leading training-free families are both structurally limited: token-selection methods (SnapKV, Ada-KV) score importance from an observation window and evict low-scoring tokens, but eviction is irreversible -- so when the importance signal degrades under query-agnostic reuse, accuracy collapses by 11-15 points; uniform low-rank coding keeps every token but spends equal rank everywhere, wasting budget. We observe that both failures share one cure: rank should be allocated, not evicted. We present VarRate, a training-free KV codec that assigns each token a variable low-rank budget by its query salience, keeping every token at a nonzero rank. Comparable adaptive-rank codecs reach this allocation only through training; VarRate requires none. Because no token is dropped, it degrades by only 3.5-5.5 points where query-aware selection collapses. At a matched 20% budget on LongBench (16 tasks), VarRate stays within 0.8 points of the uncompressed model on both Llama-3.1-8B and Qwen2.5-7B. Averaged over the two, it is the strongest matched-memory compressor. It significantly beats its uniform-rank ablation on both models. Against KVzip, a method purpose-built for query-agnostic reuse, it is accuracy-equivalent in three of four settings and within a point overall, at about one-eighth the prefill overhead.
• Abstract（参考訳）: キー値(KV)キャッシュは、Long-context Large Language Model(LLM)推論における主要なメモリボトルネックである。 トークン選択法(SnapKV、Ada-KV)は、観測窓から重要度をスコアし、低スコアトークンを省略するが、消去は不可逆である。 私たちは、両方の障害が1つの治療法を共有しているのを観察します。 トレーニング不要なKVコーデックであるVarRateは,各トークンに対してクエリサリエンスによる可変低ランクの予算を割り当て,すべてのトークンを非ゼロランクに維持する。 比較可能なアダプティブランクコーデックは、トレーニングを通じてのみ、このアロケーションに到達する。 トークンをドロップしないため、クエリを意識した選択が崩壊する3.5-5.5ポイントしか低下しない。 Llama-3.1-8BとQwen2.5-7Bの両方で、VarRateはLongBenchの20%の予算で、圧縮されていないモデルの0.8ポイント以内にとどまった。 この2つを平均すると、最強のマッチングメモリ圧縮機である。 両モデルとも同格のアブレーションをはるかに上回っている。 クエリ非依存の再利用を目的としたKVzipに対して、4つの設定のうち3つの設定で精度が等価であり、全体としてはプリフィルのオーバーヘッドの約8分の1に等しい。

関連論文リスト

• Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning [78.75986976062454]
  大規模言語モデルは、拡張推論を必要とするタスクにおいて優れたパフォーマンスを達成する。 既存のKVキャッシュ圧縮メソッドは、1つのパラダイムを共有している。 選択信号はほとんど役に立たないことを示す。ランダム注意は各アテンションヘッド内でプロンプトと退避者をランダムに保ち、スコアを全く計算しない。
  論文  参考訳（メタデータ） (2026-09-03T06:38:38Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• TwinKV: A Composable Repair Pass for KV Cache Eviction via Pairwise Key Redundancy [32.29092613421357]
  ロングコンテキスト推論はキー値(KV)キャッシュのメモリフットプリントによってボトルネックとなる。 我々はTwinKVを紹介した。これはトレーニング不要で注意のない冗長性信号で、トークンのキーがコンテキスト内でほぼ重複しているかどうかを検出する。 我々はTwinKVを、LongBench、LooGLE、RULERの4つの最近の消去ポリシーと、圧縮比0.3,0.5,0.7$の短文MMLU-Proノハーム制御で構成する。
  論文  参考訳（メタデータ） (2026-08-27T13:43:30Z)
• ReasonAlloc: Hierarchical Decoding-Time KV Cache Budget Allocation for Reasoning Models [51.947287846779545]
  ReasonAllocはデコード時のKV圧縮を階層的な予算配分問題として再キャストする。 オフラインのレイヤ単位の事前配置戦略は、アーキテクチャ駆動の需要パターンをキャプチャする。 オンラインのヘッドワイド戦略は、リアルタイムユーティリティに基づいた情報豊富なヘッドへのデコード中にリソースを再配置する。
  論文  参考訳（メタデータ） (2026-06-09T17:44:23Z)
• NestedKV: Nested Memory Routing for Long-Context KV Cache Compression [35.62789874560166]
  NestedKVは、Nested LearningのContinuum Memory SystemにインスパイアされたキーのみのKVキャッシュ圧縮方式である。 マルチタイムスケールのコサイン異常によってトークンをスコアし、その結果のランキングとトレーニング不要な外部学習者を組み合わせる。
  論文  参考訳（メタデータ） (2026-05-26T08:14:39Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• KVSculpt: KV Cache Compression as Distillation [7.085426079187912]
  KVキャッシュ圧縮は、効率的なLLM推論に重要である。 既存のメソッドは、純粋な消去 -- どのKVペアを保持するかを選択する -- から、類似のペアをより少ないものに組み合わせたマージまで、さまざまです。 我々は、このスペクトルの反対側に移動するKVSculptを提案する。 鍵はL-BFGSで最適化され、最小二乗で閉形式で解かれる。
  論文  参考訳（メタデータ） (2026-03-29T19:14:25Z)
• Learning to Evict from Key-Value Cache [17.365511268829703]
  我々はKV Policyを紹介した。KV Policyはトークンのランク付けを学習するためのフレームワークであり、将来的な復号化に役立つと予測されている。 長文ベンチマークRULERとマルチターンダイアログベンチマークOASST2-4kの2種類のモデルファミリで評価した。 その結果、将来のトークンユーティリティを予測する学習は、適応的なKVキャッシュ管理のための強力でスケーラブルなパラダイムであることが示されている。
  論文  参考訳（メタデータ） (2026-02-10T19:34:15Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• Quantize What Counts: More for Keys, Less for Values [63.51476878610841]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュに支配される推論時のメモリボトルネックに悩まされる。 本稿ではトランスフォーマーモデルの内在幾何学における混合精度KV量子化を固定する2つの定理を提案する。
  論文  参考訳（メタデータ） (2025-02-20T22:24:27Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。