論文の概要: Value-Aware Stochastic KV Cache Eviction for Reasoning Models

• arxiv url: http://arxiv.org/abs/2606.03928v1
• Date: Tue, 02 Jun 2026 17:16:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:05.212487
• Title: Value-Aware Stochastic KV Cache Eviction for Reasoning Models
• Title（参考訳）: 共振モデルに対する値認識確率的KVキャッシュ推定法
• Authors: Ting-Yun Chang, Harvey Yiyun Fu, Deqing Fu, Chenghao Yang, Jesse Thomason, Robin Jia,
• Abstract要約: 推論モデルは思考のチェーンを拡張して精度を向上させるが、その長い出力はメモリと計算のボトルネックを生み出す。 KVキャッシュ消去法は、重要でないキーと値のペアをキャッシュから排除することで、このコストを削減するが、選択に基づくスパースアテンションの代替よりも、しばしば精度が低下する。 本稿では,大容量値状態の保護と多様な消去決定を促進するトレーニング不要なレシピであるバリューアウェアなKVキャッシュ消去(VaSE)を提案する。
• 参考スコア（独自算出の注目度）: 34.29227693805387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Reasoning models improve accuracy through extended chains of thought, but their long outputs create a memory and compute bottleneck. KV cache eviction methods reduce this cost by evicting unimportant key-value pairs from the cache, yet they often yield worse accuracy than selection-based sparse attention alternatives, which keep the full KV cache. We identify key factors crucial to KV cache eviction accuracy. First, a small fraction of value states have abnormally large magnitudes, and evicting them causes catastrophic failure where models enter repetitive reasoning loops. Second, introducing stochasticity during eviction improves accuracy by increasing cache diversity. Based on these findings, we propose Value-aware Stochastic KV Cache Eviction (VaSE), a training-free recipe that protects large-magnitude value states and promotes diverse eviction decisions. Across six reasoning tasks, Qwen3 models using VaSE with 4x KV cache compression yield higher average accuracies than SOTA selection method at the same sparsity, while outperforming the strongest eviction method by more than 4%. Overall, VaSE bridges the gap between efficiency and accuracy, supporting FlashAttention2 and enabling a static memory footprint for reasoning models.
• Abstract（参考訳）: 推論モデルは思考のチェーンを拡張して精度を向上させるが、その長い出力はメモリと計算のボトルネックを生み出す。 KVキャッシュ消去法は、重要でないキーと値のペアをキャッシュから排除することで、このコストを削減するが、完全なKVキャッシュを維持する選択ベースのスパースアテンション代替よりも、しばしば精度が低下する。 KVキャッシュの消去精度に重要な要因を同定する。 第一に、少数の値状態は異常に大きな大きさを持ち、それらを取り除くことは、モデルが繰り返し推論ループに入る破滅的な失敗を引き起こす。 第2に,消去時の確率性の導入は,キャッシュの多様性を高めて精度を向上させる。 これらの知見に基づいて,大局的な価値状態を保護し,多様な消去決定を促進するトレーニング不要なレシピである,価値認識型確率的KVキャッシュ消去(VaSE)を提案する。 6つの推論タスクで、4倍KVキャッシュ圧縮を持つVaSEを用いたQwen3モデルは、SOTA選択法よりも平均精度が高く、最強の消去法を4%以上上回った。 全体として、VaSEは効率性と精度のギャップを埋め、FlashAttention2をサポートし、推論モデルのための静的メモリフットプリントを可能にする。

関連論文リスト

• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Rethinking KV Cache Eviction via a Unified Information-Theoretic Objective [26.25624771395719]
  キーバリュー(KV)キャッシングは、大きな言語モデル推論には不可欠だが、長いコンテキスト生成において重要なボトルネックとなる。 この研究は、Information Bottleneckの原理のレンズを通してKVキャッシュの消去を再考する。 本稿では,ログ決定式近似を用いて情報保存を直接ターゲットとするキャパシティ・アウェア・エビテーション法であるCapKVを紹介する。
  論文  参考訳（メタデータ） (2026-04-28T12:28:04Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• TaDA: Training-free recipe for Decoding with Adaptive KV Cache Compression and Mean-centering [10.427881558469442]
  量子化精度の高いKVキャッシュ圧縮のためのトレーニング不要なレシピであるTaDAを紹介する。 提案手法は,様々なコンテキスト長をサポートする複数のモデルに対して,大幅な精度向上を実現する。 本手法は,言語モデルにおけるスケーラブルで高性能な推論手法である。
  論文  参考訳（メタデータ） (2025-06-05T05:23:38Z)
• KVCrush: Key value cache size-reduction using similarity in head-behaviour [40.792661186062396]
  大規模言語モデル(LLM)における推論を高速化する重要な最適化手法としてキーバリューキャッシュ(KV)が登場している。 しかしながら、KVのメモリフットプリントは、モデルのバッチサイズに直接影響を与えるモデルデプロイメントにおいて、大きなボトルネックとなります。 我々は,KVCrushと多くのKV圧縮技術を組み合わせることで,より小さなメモリでモデル精度を向上させることを提案する。
  論文  参考訳（メタデータ） (2025-02-24T02:57:51Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization [31.806112535762367]
  キーバリューキャッシングは、生成型大規模言語モデル(LLM)の推論速度とスループットを加速する重要な技術となっている。
  論文  参考訳（メタデータ） (2024-02-28T06:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。