論文の概要: What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation

• arxiv url: http://arxiv.org/abs/2609.03515v1
• Date: Thu, 03 Sep 2026 08:17:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.980477
• Title: What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation
• Title（参考訳）: 攻撃的デコーディング-時間的KV推定には何が重要か? : 時間的集約とランク付け保存
• Abstract要約: 指数移動平均(EMA)アグリゲーション(英語版)は、約オーダー保存スコアラの修正を消去セットレベルで大きく区別できない。 我々は,EMAに基づく復号時間消去手法であるInertiaKVと,その周期的復号法であるInertia KV-Lazyを導入し,その復号スループットを1.34-1.46xとする。 6つのオープンウェイトなバックボーンとLongBench、LongBench-v2、RULERベンチマークで、結果は時間的アグリゲーションとランキング保存を、連続した設計要素として識別する。
• 参考スコア（独自算出の注目度）: 7.418932089055928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Decoding-time KV cache compression research focuses heavily on designing better token scoring functions, while the temporal rule that aggregates scores across decode steps is often treated as an implementation detail. Under aggressive KV compression, we find that exponential-moving-average (EMA) aggregation makes approximately order-preserving scorer modifications largely indistinguishable at the eviction-set level. Value-norm and entropy variants remain highly correlated with attention and produce nearly unchanged retention sets, whereas KeyDiff, key norm, recency, and a learned scorer alter the ranking and degrade substantially. We associate this stability with the evaluated aggregation, which couples layer weighting and temporal retention. Building on this observation, we introduce InertiaKV, an EMA-based decoding-time eviction method, and InertiaKV-Lazy, its periodic-refresh variant, which yields 1.34-1.46x decode throughput relative to full refresh InertiaKV. We also study Score-Free decoding as a separate empirical operating point: it scores the full context once at the first decode step, freezes that ranking, and incurs an average quality change of +0.03 while removing all subsequent scoring. Across six open-weight backbones and the LongBench, LongBench-v2, and RULER benchmarks, the results identify temporal aggregation and ranking preservation as distinct, consequential design factors; they do not imply that scoring quality is irrelevant in general.
• Abstract（参考訳）: 復号時間KVキャッシュ圧縮の研究は、より良いトークンスコアリング関数の設計に重点を置いているが、デコードステップ間でスコアを集約する時間ルールは、実装の詳細として扱われることが多い。 積極的KV圧縮では、指数移動平均(EMA)アグリゲーション(英語版)は、約順序保存のスコアラを消去セットレベルで大きく区別できないものにする。 値ノルムとエントロピーの変種は注意と強く相関し、ほとんど変化のない保持セットを生成する。 我々は,この安定性と,層重み付けと時間的保持を結合したアグリゲーションの評価を関連づける。 この観測に基づいて,EMAに基づく復号時間消去手法であるInertiaKVと,その周期的再フレッシュ変種であるInertiaKV-Lazyを導入し,フルリフレッシュしたInertiaKVに対して1.34-1.46倍の復号スループットを実現する。 また、Score-Freeデコーディングを別の経験的操作点として研究し、最初のデコードステップで1度フルコンテキストをスコアし、そのランキングを凍結し、続くすべてのスコアを取り除きながら、平均品質を+0.03に変化させる。 6つのオープンウェイトなバックボーンとLongBench、LongBench-v2、RULERベンチマークで得られた結果は、時間的アグリゲーションとランキングの保存を、連続した設計要因として識別する。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference [0.880899367147235]
  トレーニングフリーで地域対応のKV-cache消去ポリシーであるMemDecayを紹介する。 MemDecayは、トークンにリージョン固有のベース優先順位と崩壊率を割り当て、トークンが注意を引いたときに保持スコアをリフレッシュし、固定キャッシュ予算の下で最低レベルのページを削除します。 Qwen2.5-1.5B と 3B を用いて約450 と 1,700 のトークンコンテキストで MemDecay を評価する。
  論文  参考訳（メタデータ） (2026-07-12T05:35:26Z)
• Stabilizing Extrapolation in Looped Transformers via Learned Stochastic Stopping [56.14767235650558]
  共有トランスブロックを繰り返し適用するLooped Transformerは、可変長の計算タスクに自然に適合するアーキテクチャである。 この差分を、列長とループ数の間の単純なアルゴリズムタスクにおける突発的相関に追従する。 私たちの研究は、"停止する時"は単なる推論時間割当ルールではなく、トレーニング設計の選択として扱われるべきであることを示唆しています。
  論文  参考訳（メタデータ） (2026-06-29T08:58:09Z)
• MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference [12.316173390280609]
  Transformerベースの言語モデルにおける自動回帰デコーディングは、KVキャッシュに依存している。 KVキャッシュ消去は、キーと値のペアの固定サイズのサブセットを保持し、残りを破棄することでこの問題に対処する。 本稿では, 除去トークン集合上のコンパクトで小型なモーメント統計量を維持するMomentKVを提案する。
  論文  参考訳（メタデータ） (2026-06-01T02:08:40Z)
• SelKV: Selective KV Cache Merging with Per-Token Merge-or-Drop and Attention Compensation [0.0]
  大規模言語モデルは、メモリフットプリントがコンテキスト長とともに線形に増加するキー値(KV)キャッシュに依存して、テキストを自動回帰的に生成する。 最近の圧縮法はトークンマージによるコストを軽減している。 これらの制約に対処するKVキャッシュ圧縮のためのトレーニングフリーでデュアルコンポーネントのフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-19T17:44:56Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。