論文の概要: The Gating Mechanism of KV Cache Eviction
- arxiv url: http://arxiv.org/abs/2611.07605v1
- Date: Thu, 05 Nov 2026 07:53:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.589624
- Title: The Gating Mechanism of KV Cache Eviction
- Title(参考訳): KVキャッシュエミッションのゲーティング機構
- Abstract要約: このゲートは8KでRULERで90.14、ロングベンチで46.03、Qwen3-8Bで3.72、フルキャッシュ推論で1.36ポイントに達する。
- 参考スコア(独自算出の注目度): 32.48473685951589
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: KV cache eviction must decide which entries carry information that the rest of the cache can no longer supply. A natural way to estimate this is a learnable gate: give each cached entry a gate on its attention weight and train the gate on the model's own objective. The gate belongs inside the normalizing softmax, where suppressing one entry hands its mass to the others rather than discarding it. That same normalizer absorbs any per-query constant, so a constant gate cancels and reproduces the frozen model exactly. Trained on the language-modeling loss the gate stays near a constant score while its loss falls throughout: optimization succeeds, but a frozen backbone was fit for dense attention, so its loss prefers the no-op, and a near-constant score ranks nothing. The no-op is not a floor the gate improves from but what its objective asks for. A second obstacle survives once the gate moves, since the same gradient charges the gate for errors the frozen model already makes, which no reweighting of positions separates out. Much of the machinery in learnable eviction, from sparsity penalties to relaxations of the discrete decision, works around the first obstacle rather than removing it; both are removed by putting dense attention beyond the gate's reach and making the dense model's predictions its target. Under these two conditions capacity is never the missing ingredient: neither a larger scorer, nor explicit access to the past, nor a trainable backbone helps. The same holds for what eviction unavoidably discards, which is recovered by parameter-free centroids read inside the same softmax far better than by any memory read outside it, since the mass they must return is a share of that normalizer and available nowhere else. At 75\% KV cache compression, this gate reaches 90.14 on RULER at 8K and 46.03 on LongBench with Qwen3-8B, 3.72 and 1.36 points below full-cache inference.
- Abstract(参考訳): KVキャッシュの無効化は、どのエントリがキャッシュの残りがもはや供給できない情報を運ぶかを決定する必要がある。
キャッシュされた各エントリに注意重みのゲートを与え、モデル自身の目的のゲートをトレーニングする。
ゲートは正規化ソフトマックスの内側にあり、一方のエントリーを抑えることは、それを捨てるのではなく、もう一方のエントリーに質量を渡す。
同じ正規化器はクエリごとの定数を吸収するので、定数ゲートはキャンセルし、凍結したモデルを正確に再現する。
最適化は成功するが、凍結したバックボーンは集中した注意に合うため、その損失はノーオープを好んでおり、ほぼ一定に近いスコアは、何もランクしない。
no-opは、ゲートが改善するフロアではなく、その目的が求めるものなのです。
2つ目の障害は、ゲートが動くと生き残る。同じ勾配が、凍結したモデルが既に起こしたエラーに対してゲートを充電するので、位置の再重み付けが切り離されることはない。
学習可能な解法における機械の多くは、希薄な刑罰から離散的な決定の緩和まで、取り除くのではなく最初の障害物を囲むように働き、どちらもゲートの到達範囲を越えて密集した注意を払って、密集したモデルの予測を目標にすることで取り除かれる。
より大きなスコアや過去の明示的なアクセス、トレーニング可能なバックボーンが役に立たない。
パラメータフリーのセントロイドが同じソフトマックス内で読み取ると、その外にあるあらゆるメモリが読み取るよりもずっと良い値が返される。
75\%のKVキャッシュ圧縮では、このゲートはRULERで90.14、LongBenchで46.03、Qwen3-8Bで3.72、フルキャッシュ推論で1.36ポイントに達する。
関連論文リスト
- GateSight: Recurrent Memory Anticipates Attention Memory for Query-Agnostic KV Eviction in Hybrid LLMs [12.04455190856202]
ハイブリッド言語モデルはGated DeltaNet(GDN)層をインターリーブする。
本稿では,これらの信号を読み取る軽量なヘッド当たり多層パーセプトロンを用いて学習するGateSightを提案する。
GateSightは、4つのモデルベンチマークペアのうち3つで5つのクエリ非依存の手法の中で最も正確であり、KVzipを4つすべてで9.5から47.2ポイントリードする。
論文 参考訳(メタデータ) (2026-10-10T09:19:05Z) - When to Evict, Not What to Keep: Draft-Guided Eviction for Training-Free KV-Cache Compression [38.049805308598806]
SnapKV、H2O、PraamidKVといったKVキャッシュ圧縮手法は、プリフィルの終了時にトークンを除去する。
この目的が2つの異なる方法で失敗することを示します。
Draft-Guided Eviction は、完全なキャッシュを使用して最初の k=2 の応答トークンをドラフトした後まで、eviction をデフレする。
論文 参考訳(メタデータ) (2026-09-27T08:04:59Z) - The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。
この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。
この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
論文 参考訳(メタデータ) (2026-09-21T09:26:35Z) - VestigeKV: The NoPE-MLA KV Cache Carries Its Own Sparse-Attention Signal in a Vestigial Branch [0.44841701732863304]
VestigeKVはキャッシュが既に持っていた信号からスパースアテンションパターンを導出する。
何もトレーニングされておらず、キャッシュ行は量子化されないため、すべての品質効果は、選択とスケジューリングに起因しています。
Kimi Linear 48B では、検索は 8x の 1.00 と 8k から 65k のコンテキストの 32x の 0.96 で保持され、完全な選択のギャップはゼロである。
論文 参考訳(メタデータ) (2026-09-03T14:53:20Z) - The Gate, Not the Cache: Gate Provenance Bounds the Closed-Loop Reliability of Training-Free VLA Token Skipping [11.835064270861169]
我々は、このクラスが構築する2つのメカニズム、再利用と削除について検討し、同じエピソードにおいてゲート信号がどこから来るのかを相互に比較した。
密度の高い操作から崩壊を分離する要因は、ゲートがきれいであるかどうかではなく、何もスキップしないフォワードによって計算される。
そこで我々は,ロボットが現在の動作チャンクを実行している間に,次のステップでクリーンゲートと新しいKVベースを手渡すアクティベーション・スラック・リフレッシュ(アクティベーション・スラック・リフレッシュ)を提案する。
論文 参考訳(メタデータ) (2026-08-01T01:59:12Z) - The Orthogonalized Read Is a Removable Training Scaffold for Recurrent Memory [0.0]
効果は再現されるが、メモリ改善ではない。
この任務の訓練は、急激な脱出に続き、長い確率の台地である。
公開された利益の多くは、アーキテクチャをまったく必要としない。
論文 参考訳(メタデータ) (2026-07-02T18:54:23Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳(メタデータ) (2026-05-10T16:47:50Z) - ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。
我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
論文 参考訳(メタデータ) (2026-02-03T07:16:51Z) - What Layers When: Learning to Skip Compute in LLMs with Residual Gates [66.23658560048241]
GateSkipは、デコーダのみのLMにおけるトークンワイド層スキップを可能にする残差ストリームゲーティング機構である。
各Attention/MLPブランチは、残ストリームに再入力する前に、ブランチの出力を凝縮するシグモイドリニアゲートを備えている。
論文 参考訳(メタデータ) (2025-10-13T16:31:50Z) - Data Free Backdoor Attacks [83.10379074100453]
DFBAは、モデルアーキテクチャを変更することなく、リトレーニングフリーでデータフリーのバックドア攻撃である。
我々の注入されたバックドアは、様々な最先端の防御策によって、検出不可能で、検出不能であることを確認した。
複数のデータセットに対する評価では,1) 無視可能な分類損失,2) 攻撃成功率,3) 既存の6つの防御を回避している。
論文 参考訳(メタデータ) (2024-12-09T05:30:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。