論文の概要: A Probabilistic Interpretation of KV Cache Eviction

• arxiv url: http://arxiv.org/abs/2608.28293v1
• Date: Fri, 28 Aug 2026 12:57:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 17:16:04.334642
• Title: A Probabilistic Interpretation of KV Cache Eviction
• Title（参考訳）: KVキャッシュの確率論的解釈
• Abstract要約: キャッシュ消去は、KVキャッシュからいくつかのエントリを削除することで、より高いスループットを達成することができる。 本稿では,確率論的推論のレンズによるKV放出問題の定式化を行う。 この確率的バージョンのKV消去と復号時間補正は、異なるタスクに対してより堅牢であることを示す。
• 参考スコア（独自算出の注目度）: 52.196873305708955
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The premise and promise of KV (cache) eviction is simple: higher throughput can be achieved by evicting some entries from the KV cache, at a negligible cost to quality. This holds empirically for many existing methods, though most rely on creative heuristics for selecting which entries to drop. Despite recent advances, the problem of KV eviction has remained informal in the literature. This paper aims to properly formalize this problem through the lens of probabilistic reasoning and reveal what can be learned from this perspective. Concretely, we (1) formalize the problem of KV eviction and, unfortunately, prove that it is computationally hard, (2) show that by framing it probabilistically, KV eviction reduces to the problem of expectation estimation, which can be approximated through sampling, (3) show that through this probabilistic interpretation, correcting for evicted entries during decoding---a previously ignored problem---becomes feasible, and (4) reveal that existing methods in the literature are zero-variance biased estimators that can be easily adapted in order to enable decode time correction. In practice, we show that this probabilistic version of KV eviction coupled with decode time correction is more robust to different tasks compared to existing eviction methods and achieves competitive performance at the same compression budget.
• Abstract（参考訳）: KV(キャッシュ)消去の前提と約束は単純で、KVキャッシュからいくつかのエントリを除外することで高いスループットを達成できる。 これは多くの既存の方法に実証的に当てはまるが、ほとんどの場合、どのエントリをドロップするかを創造的ヒューリスティックに頼っている。 近年の進歩にもかかわらず、KV排除の問題は文学において非公式なままである。 本稿では,確率論的推論のレンズを用いてこの問題を適切に定式化し,この観点から何が学べるかを明らかにすることを目的とする。 具体的には,(1)KV消去の問題を形式化し,残念ながら計算的に難しいことを証明し,(2)KV消去が確率的にフレーミングすることで,サンプリングによって近似できる予測推定の問題に還元されること,(3)この確率論的解釈を通じて,復号時に削除されたエントリの補正が実現可能であること,(4)既存の文献の手法がゼロ偏差偏差推定器であることを示す。 実例では,この確率的KV消去と復号時間補正を併用したKV消去は,既存の復号法と比較して異なるタスクに対してより堅牢であり,同じ圧縮予算で競合性能を達成できることが示されている。

関連論文リスト

• Revisiting Lossy Verification in Speculative Decoding: Mechanisms, Trade-offs, and Failure Modes [19.68865985432786]
  本稿では,損失検証法によって誘導される分布の原理的解析について述べる。 一見異なる多くのアプローチが表面的にのみ異なることを示し、トラルニケーションに基づく検証と協調的な検証の2つのカテゴリに分類できる。
  論文  参考訳（メタデータ） (2026-07-29T08:54:27Z)
• Error Certificates for KV-Cache Eviction via Randomized Design [3.860898721527665]
  KV-cacheの無効化は、トークンのトップ$kを重要なスコアで保持し、残りを削除します。 我々は、この設計が何を破壊したかを理解できないことを証明している。 ランダム化消去は識別可能性の回復を示す。
  論文  参考訳（メタデータ） (2026-07-23T16:16:59Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding? [19.77569541429818]
  投機的復号化はLLM推論を加速させるが、SOTAの隠れ状態に基づく起草者は長距離減衰に悩まされる。 我々はコンテキスト情報保存の観点から長距離減衰を再考する。 KVShotは3つの再利用パラダイムを比較する診断フレームワークである。
  論文  参考訳（メタデータ） (2026-04-29T08:25:01Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• SkipKV: Selective Skipping of KV Generation and Storage for Efficient Inference with Large Reasoning Models [25.509962883211]
  大きな推論モデル(LRM)は、チェーン・オブ・ソート(CoT)推論プロセスで線形に成長するため、重要なキー値(KV)キャッシュのオーバーヘッドがかかることが多い。 粗い文レベルのシーケンスを除去するKV圧縮手法である textbfSkipKV を提案する。
  論文  参考訳（メタデータ） (2025-12-08T19:32:06Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• CaliDrop: KV Cache Compression with Calibration [44.722738059962296]
  大規模言語モデル(LLM)は、世代間、かなりの計算資源を必要とする。 このボトルネックを軽減するため、KVキャッシュ圧縮技術が提案されている。 本稿ではトークン排除戦略の強化に焦点をあてる。
  論文  参考訳（メタデータ） (2025-07-26T10:34:53Z)
• Latent Veracity Inference for Identifying Errors in Stepwise Reasoning [78.29317733206643]
  本稿では、精度割当てに対する離散探索アルゴリズムであるVeracity Search(VS)を紹介する。 その他の方法では、後続の精度値よりも後続の分布において難解な推論を行う。 VSを一般化し、新しいコンテキストで正確なゼロショットの精度推論を可能にする。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。