論文の概要: QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
- arxiv url: http://arxiv.org/abs/2608.05326v1
- Date: Wed, 05 Aug 2026 18:29:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.658122
- Title: QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding
- Title（参考訳）: QEvict: Atention-Drift-Robust Long-Context Decodingのための回復可能な量子化KVエミッション
- Abstract要約: 生成したクエリが進化するにつれてトークンとウィンドウの重要度が低下し、標準的な消去ポリシーが状態を恒久的に破棄することを示した。
本稿では、リカバリ可能なリカバリでリカバリ可能なリカバリを代替する3層KV-cache管理方式であるQEvictを提案する。
- 参考スコア（独自算出の注目度）: 13.920782070418246
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autoregressive large language model inference is increasingly constrained by the memory footprint of the Key-Value (KV) cache. A dominant line of work reduces this footprint by evicting tokens that appear unimportant under attention-derived scores. However, such policies make an implicit irreversible decision: once a token is evicted, it cannot become useful again. We show that this assumption is brittle during decoding. Token and window importance drift as generated queries evolve, causing standard eviction policies to permanently discard states that later receive substantial attention under the full-cache model. To characterize this behaviour, we introduce Future Missed Mass and Global LIR, two diagnostics that measure future attention assigned to discarded states and the reactivation of historically inactive regions. We propose QEvict, a three-tier KV-cache management scheme that replaces binary retain-or-delete eviction with recoverable eviction. QEvict maintains high-confidence windows in full precision, stores intermediate windows in a quantized recoverable tier, and deletes only the lowest-confidence windows. During decoding, cumulative attention scores update window importance and when a quantized window becomes important again, it is dequantized and promoted to the full-precision. Under a fixed memory budget, this design preserves broader historical context while retaining exact full precision for the most important regions. Across long-context understanding, retrieval, and reasoning benchmarks, QEvict consistently improves over representative eviction and quantization baselines, reducing missed attention and improving information retention
- Abstract（参考訳）: 自己回帰的な大言語モデル推論はキーバリュー(KV)キャッシュのメモリフットプリントによってますます制限される。
主要な作業ラインは、注意由来のスコアの下で重要でないように見えるトークンを排除することによって、このフットプリントを削減します。
しかし、このようなポリシーは暗黙の不可逆的な決定を下す:トークンが取り除かれると、再び役に立たない。
この仮定は復号時に不安定であることを示す。
生成されたクエリが進化するにつれて、トーケンとウィンドウの重要度が低下し、標準の消去ポリシーは、後にフルキャッシュモデルの下でかなりの注目を集める状態を永久に破棄する。
この挙動を特徴付けるために,我々は,捨てられた状態に割り当てられた将来の注意を計測し,歴史的に不活性な領域を再活性化する2つの診断手法であるFuture Missed MassとGlobal LIRを紹介する。
本稿では、リカバリ可能なリカバリでリカバリ可能なリカバリを代替する3層KV-cache管理方式であるQEvictを提案する。
QEvictは、信頼度の高いウィンドウを完全精度で維持し、中間ウィンドウを量子化可能層に格納し、信頼度が低いウィンドウだけを削除する。
復号中、累積アテンションはウィンドウの重要度を更新し、量子化されたウィンドウが再び重要になるとき、復号化して全精度に昇格する。
固定メモリの予算の下では、この設計はより広い歴史的文脈を維持しつつ、最も重要な領域の正確な完全精度を維持している。
長期コンテキスト理解、検索、推論ベンチマークを通じて、QEvictは、代表的消去と量子化ベースラインよりも一貫して改善し、欠落した注意を減らし、情報保持を改善する。
関連論文リスト
- Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - MomentKV: Closing the Directional Gap in KV Cache Eviction for Long-Context Inference [12.316173390280609]
Transformerベースの言語モデルにおける自動回帰デコーディングは、KVキャッシュに依存している。
KVキャッシュ消去は、キーと値のペアの固定サイズのサブセットを保持し、残りを破棄することでこの問題に対処する。
本稿では, 除去トークン集合上のコンパクトで小型なモーメント統計量を維持するMomentKVを提案する。
論文 参考訳（メタデータ） (2026-06-01T02:08:40Z) - IndexMem: Learned KV-Cache Eviction with Latent Memory for Long-Context LLM Inference [33.37463192332294]
我々は、KVの重要性を予測し、クリティカルトークンのより正確な保持を可能にする学習可能なインデクサを導入する。
本稿では,トークンをコンパクトでオンライン更新された状態に圧縮する軽量潜在メモリモジュールを提案する。
提案手法は,境界KV予算下での高精度な長文推論を可能にする。
論文 参考訳（メタデータ） (2026-05-25T06:29:43Z) - Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。
提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。
これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
論文 参考訳（メタデータ） (2026-05-10T16:47:50Z) - ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。
我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
論文 参考訳（メタデータ） (2026-02-03T07:16:51Z) - FASA: Frequency-aware Sparse Attention [56.26881872333624]
本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。
我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。
長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
論文 参考訳（メタデータ） (2026-02-03T06:09:06Z) - G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。
KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。
本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
論文 参考訳（メタデータ） (2025-11-29T14:21:33Z) - Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。
KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。
ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文 参考訳（メタデータ） (2025-09-13T03:34:12Z) - LazyEviction: Lagged KV Eviction with Attention Pattern Observation for Efficient Long Reasoning [21.761205124793175]
拡張推論シーケンスでは、キー値(KV)キャッシュの増加によるGPUメモリオーバーヘッドが大幅に増加する。
既存のKVキャッシュ圧縮手法は、メモリボトルネックを軽減するが、長い推論タスクに苦労する。
トークンの繰り返しパターンに基づいた優先順位付けによる遅延繰り返しトークンを保持する観測窓ベースのラッチ消去フレームワークであるLazyEvictionを提案する。
論文 参考訳（メタデータ） (2025-06-19T02:25:04Z) - CAOTE: KV Cache Selection for LLMs via Attention Output Error-Based Token Eviction [6.0863739814718025]
Token Evictionは、キャッシュからあまり重要でないトークンを排除してボトルネックを軽減するために設計された、広く採用されているポストトレーニング手法である。
本稿では,キャッシュされたトークンのアテンション出力への寄与に基づく簡単な消去基準を提案する。
本稿では,CAOTEと最先端の注目スコアベースの手法を組み合わせることで,下流タスクの精度が常に向上することを示す。
論文 参考訳（メタデータ） (2025-04-18T19:46:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。