論文の概要: Monte Carlo Estimation for KV Cache Eviction
- arxiv url: http://arxiv.org/abs/2610.07643v1
- Date: Tue, 06 Oct 2026 02:36:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.761519
- Title: Monte Carlo Estimation for KV Cache Eviction
- Title（参考訳）: KVキャッシュ推定のためのモンテカルロ推定
- Abstract要約: KV-cache消去法は、実際、プロンプトを読みながらどの記憶が重要か尋ねる。
提案手法は,定型モデル-条件付き問合せトラジェクトリの分布推定法として,固定予算の先進評価を行った。
LORE-KVは、アンDProの1サンプル当たりのウォールタイムを6つの高密度およびハイブリッドアテンションバックボーンに1回の圧縮オーバーヘッドとして発生させる。
- 参考スコア（独自算出の注目度）: 15.219107864409741
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most KV-cache eviction methods ask, in effect, which memory appeared important while reading the prompt? We instead ask, which memory will matter while answering? Since decoding queries are unavailable at eviction time, prior future-aware methods rely on pseudo-responses or synthetic future-query estimates. We cast fixed-budget future-aware eviction as distributional estimation over plausible model-conditional query trajectories and introduce LORE-KV (Lookahead Output-perturbation with Reliability-weighted Ensembles for Key-Value caches), a training-free method that samples short autoregressive continuations from the frozen target model and uses their response-side query states to estimate prompt-token utility. Tokens are scored by projected leave-one-out attention-output deletion cost and aggregated across sampled futures with optional trajectory weighting. The temporary continuations are discarded before final decoding, requiring no auxiliary model or training. Ablations isolate the mechanism: at B=128, a single response-side continuation recovers about 89% of the gain over the prompt-window control, while additional futures provide smaller improvements. At B=128, LORE-KV raises the LongBench average on Qwen2.5-14B from 45.49 to 48.24 (+2.75) and the 16K RULER average on Mistral-7B from 45.20 to 51.05 (+5.85). Gains diminish at larger cache budgets and coexist with task-level regressions. LORE-KV incurs 1.46-2.77x AnDPro's per-sample wall-clock time as a one-time compression overhead across six dense and hybrid-attention backbones.
- Abstract（参考訳）: ほとんどのKV-cache消去法は、事実上、プロンプトを読みながらどの記憶が重要か尋ねる。
答える間、どの記憶が重要かと尋ねる。
復号化時にはデコードクエリが利用できないため、事前の先進的な手法は擬似応答や合成先進的な先進的な推定に依存する。
提案手法は, 凍結対象モデルから短時間の自己回帰継続を抽出し, 応答側クエリ状態を用いてプロンプト・ツーケンユーティリティを推定する訓練自由手法であるLORE-KV(Lookahead Output-perturbation with Reliability-weighted Ensembles for Key-Value caches)を導入する。
トークンは、投射された1対1の注意出力削除コストによってスコアされ、任意の軌跡重み付けでサンプリングされた未来に集約される。
一時的な継続は最終復号の前に破棄され、補助的なモデルや訓練は不要である。
アブレーションはメカニズムを分離する: B=128 では、単一応答側継続はプロンプトウィンドウ制御よりも約89%の利得を回復する。
B=128で、LORE-KVはQwen2.5-14BでLongBench平均を45.49から48.24(+2.75)に、Mistral-7Bで16K RULER平均を45.20から51.05(+5.85)に引き上げた。
キャッシュ予算が大きくなり、タスクレベルのレグレッションと共存することで利得が減少する。
LORE-KVは、アンDProの1サンプル当たりのウォールタイムを6つの高密度およびハイブリッドアテンションバックボーンに1回の圧縮オーバーヘッドとして発生させる。
関連論文リスト
- Behavior-Preserving KV Cache Compression [15.401705814313205]
KVキャッシュは、大規模言語モデルによる長文推論と長文生成において、大きなボトルネックとなっている。
キャッシュ圧縮は、代わりにフルキャッシュモデルの予測動作を保存するべきだと我々は主張する。
提案手法は,学習不要なフレームワークである行動保存型KVキャッシュ圧縮である。
論文 参考訳（メタデータ） (2026-10-05T15:06:18Z) - DeferKV: Rethinking Eviction Timing for One-Shot KV Cache Compression [9.272744913886472]
プリフィルの終了から最初の実復号ステップに移行するデファKVを提案する。
LongBench、RULER、Needle-in-a-Haystackの実験では、DeferKVはKVキャッシュ圧縮下でのモデルパフォーマンスを一貫して改善することを示した。
論文 参考訳（メタデータ） (2026-10-05T13:13:14Z) - KV-Rescue: Recovering Reasoning Language Model KV Eviction Loss via Stepwise Interleaving [7.553569483953289]
KV-cache消去は、長い推論トレースのメモリコストを抑えるが、モデルが歴史の部分的なビューからデコードされるため、本質的に損失がある。
KV-Rescueは,KVによる情報ギャップを橋渡しする学習自由推論フレームワークである。
KV-Rescueは、補正予算B=64で失った精度の87%を回収する。
論文 参考訳（メタデータ） (2026-08-16T15:23:25Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳（メタデータ） (2026-07-14T17:50:50Z) - KVpop -- Key-Value Cache Compression with Predictive Online Pruning [22.664867330302517]
我々は,KVpopを導入する。これは,固定予算のKV消去ポリシーを,直接監視することで学習する。
スコアラーは、高密度の注意マップを具体化せずに効率的に計算される、新しい未来の注意対象に対して訓練される。
KVpopは、Qwen3-4Bのフルアテンション性能の98%を75% KVキャッシュ圧縮で、97%を88%圧縮で維持し、確立されたエビクションベースラインを一貫して上回っている。
論文 参考訳（メタデータ） (2026-07-06T13:32:34Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - Cache Me If You Can: How Many KVs Do You Need for Effective Long-Context LMs? [79.58770714228983]
言語モデルは、書籍要約のようなタスクに対して、ますます長いコンテキストを扱う。
これによりキーバリュー(KV)キャッシュのメモリコストが増大する。
以前の多くの研究でKVをメモリから外す方法が提案されているが、そのアプローチは好ましい設定に適合している。
KVフットプリント*は、記憶中のKVエントリの量と寿命の両方を考慮し、統一された計量として提案する。
論文 参考訳（メタデータ） (2025-06-20T16:21:12Z) - Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。
プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン
Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
論文 参考訳（メタデータ） (2025-05-24T10:34:38Z) - CORM: Cache Optimization with Recent Message for Large Language Model Inference [57.109354287786154]
メモリフットプリントを大幅に最小化するKVキャッシュを最適化する革新的な手法を提案する。
KVキャッシュ消去ポリシーであるCORMは、モデル微調整を必要とせずに、推論に必要なキーと値のペアを動的に保持する。
検証の結果,CORMはKVキャッシュの推論メモリ使用量を最大70%削減し,LongBenchの6つのタスクで性能劣化を無視できることがわかった。
論文 参考訳（メタデータ） (2024-04-24T16:11:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。