論文の概要: ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs

• arxiv url: http://arxiv.org/abs/2609.23314v1
• Date: Sun, 20 Sep 2026 03:03:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.767624
• Title: ValueDiff: Value-Geometric KV Cache Eviction for Sink-Suppressed LLMs
• Title（参考訳）: ValueDiff:Sink-Suppressed LLMのための値幾何学的KVキャッシュ推定
• Abstract要約: QK正規化、ゲートアテンション、学習アテンションシンク、ロジットソフトキャッピングは、より弱い永続アテンションシンクを示す。 キャッシュ平均からの値ベクトルのL2偏差によってトークンをランク付けする値幾何学的単位であるValueDiffを提案する。 3つのベンチマーク全体で、値幾何は、シンク圧縮モデルに対するより信頼性の高いクエリ不変の消去信号として現れる。
• 参考スコア（独自算出の注目度）: 12.51210330844887
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern LLMs with QK-normalization, gated attention, learned attention sinks, or logit softcapping exhibit weaker persistent attention sinks, on which existing KV cache eviction methods primarily rely. We observe that across these models, weaker sinks co-occur with greater value-vector dispersion relative to key-vector dispersion. Motivated by this value-side dispersion, we present ValueDiff, a value-geometric eviction that ranks tokens by the L2 deviation of their value vectors from the cache mean. The same score arises as the minimal-disturbance eviction under a max-entropy assumption about future attention. We evaluate under fixed cache budgets, with eviction at every block boundary during prefill and at every decoding step during generation. On RULER at a tight 2k token budget, ValueDiff retains 88--99\% of dense across seven sink-suppressed models (best on 6 out of 7). On LongBench at the 4k budget, ValueDiff averages 92\% retention across sink-suppressed models versus 83\% for the strongest prior baseline. On MATH-500, ValueDiff is the strongest non-dense method on every sink-suppressed model tested at the 25\% cache budget, outperforming prior methods by up to $\sim$20 points on gated-attention models. Across all three benchmarks, value geometry emerges as the more reliable query-invariant eviction signal for sink-suppressed models.
• Abstract（参考訳）: QK正規化、ゲートアテンション、学習アテンションシンク、ロジットソフトキャッピングを備えた現代のLCMは、既存のKVキャッシュ消去法が主に依存している、より弱い永続アテンションシンクを示す。 これらのモデル全体で、より弱いシンクは、キー-ベクトル分散に対してより大きな値-ベクトル分散で共起する。 この値側分散により、キャッシュ平均からの値ベクトルのL2偏差によってトークンをランク付けする値幾何学的消去法であるValueDiffを提案する。 同じスコアは、将来の注意に関する最大エントロピーの仮定の下で、最小のゆらぎの排除によって生じる。 キャッシュ予算の固定化,プリフィル中のブロック境界の排除,生成時のデコードステップの削減について検討した。 RULERの2kトークンの予算は厳しいが、ValueDiffは7つのシンク抑制モデルで88--99\%の密度を維持している(7つ中6つ)。 4k予算でのLongBenchでは、ValueDiffはシンク抑制モデル全体の92.%の保持率に対して、最強のベースラインでは83.%である。 MATH-500では、ValueDiffは25 %のキャッシュ予算でテストされたすべてのシンク圧縮モデル上で最強のナンセンスメソッドであり、ゲートアテンションモデルで最大$\sim$20ポイントの先行メソッドより優れている。 3つのベンチマーク全体で、値幾何は、シンク圧縮モデルに対するより信頼性の高いクエリ不変の消去信号として現れる。

関連論文リスト

• SANE: State Anomaly Neutralization for Stable Extreme-Context Delta-Rule Models [53.86918766240095]
  Delta-Ruleリカレントモデルは固定サイズの状態を維持しており、$O(1)$の推論メモリが可能であるが、極端なコンテキスト外挿では不安定になる可能性がある。 我々は,チャンク内並列構造を保ちながら,チャンク境界における適応$tanh$圧縮を適用したtextbfState Anomaly Neutralization (SANE)を提案する。
  論文  参考訳（メタデータ） (2026-08-23T10:41:07Z)
• Adaptive Filtering of the KV Cache: Diagnosing and Correcting Structural-Role Bias in LLM Inference [0.0]
  KVキャッシュ消去はノイズを不均等に保持する非定常フィルタである。 キートークンは、応答するVALUEトークンの約1.8倍の速度で保持される。 反ファクト実験では、KEYトークンの抑制が最良のデプロイ可能なフィルタであることを示す。
  論文  参考訳（メタデータ） (2026-07-14T18:55:20Z)
• Epiphany-Aware KV Cache Eviction Without the Attention Matrix [20.364701823395276]
  KVキャッシュは、デプロイのボトルネックになりつつある。 既存のキャッシュ消去手法は、長い推論トレースにおいてノイズの多い重要なプロキシである注意重みによってトークンをランク付けする。 代わりに、エピファニースコア(モデルの内部表現の変化)と呼ばれるメトリクスでトークンをスコアします。
  論文  参考訳（メタデータ） (2026-06-25T00:13:34Z)
• LimiX-2M: Mitigating Low-Rank Collapse and Attention Bottlenecks in Tabular Foundation Models [56.999481798138625]
  LimiX-2Mは2Mパラメータモデルであり、広く使われているベンチマークでTabPFN-v2とTabICLのベースラインを上回っている。 本稿では,強力なタブラル基礎モデル(TFM)のための統一トークン化・ルートフレームワークを提案する。 その結果、TFMにおける精度-効率トレードオフを改善するキーレバーとして、バリューアウェアトークン化とリードアウト整列ルーティングが強調された。
  論文  参考訳（メタデータ） (2026-06-03T06:07:33Z)
• Value-Aware Stochastic KV Cache Eviction for Reasoning Models [34.29227693805387]
  推論モデルは思考のチェーンを拡張して精度を向上させるが、その長い出力はメモリと計算のボトルネックを生み出す。 KVキャッシュ消去法は、重要でないキーと値のペアをキャッシュから排除することで、このコストを削減するが、選択に基づくスパースアテンションの代替よりも、しばしば精度が低下する。 本稿では,大容量値状態の保護と多様な消去決定を促進するトレーニング不要なレシピであるバリューアウェアなKVキャッシュ消去(VaSE)を提案する。
  論文  参考訳（メタデータ） (2026-06-02T17:16:33Z)
• D2Pruner: Debiased Importance and Structural Diversity for MLLM Token Pruning [49.16227597771663]
  D2Prunerは、デバイアスされた重要性と構造的なプルーニングメカニズムを組み合わせたフレームワークである。 FLOPを74.2%削減し、元の性能の99.2%を維持した。 既存の手法に比べて63.53%も改善されている。
  論文  参考訳（メタデータ） (2025-12-22T14:42:31Z)
• Attention Is All You Need for KV Cache in Diffusion LLMs [36.94369617373333]
  Elastic-Cacheは、拡散大言語モデルのための適応型層対応キャッシュ更新を実行する。 提案手法は,既存の信頼度に基づく手法よりも高いスループット(GSM8Kで6.8時間)を実現する。
  論文  参考訳（メタデータ） (2025-10-16T17:59:48Z)
• vAttention: Verified Sparse Attention [100.98210818821688]
  vAttentionは、ユーザが指定した$(epsilon, delta)$の近似精度保証(thus, confirmed)を備えた実用的なスパースアテンションメカニズムである。 vAttentionはデータセット間のスパースアテンションの質を大幅に改善することを示す。 モデルの品質を損なうことなく高速なデコードを実現するために、推論シナリオにデプロイすることができる。
  論文  参考訳（メタデータ） (2025-10-07T08:46:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。