論文の概要: DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction

• arxiv url: http://arxiv.org/abs/2610.22130v1
• Date: Thu, 15 Oct 2026 16:05:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-17 06:09:33.18317
• Title: DropKV: Decoupling Residual-Output Perturbation for Near-Optimal KV-Cache Eviction
• Title（参考訳）: DropKV: ほぼ最適KVキャッシュ推定のための残出力摂動の分離
• Abstract要約: DropKV は Decoupled Residual-Output Perturbation に基づく、原則化された消去フレームワークである。 我々はDropKVが同等のキャッシュ予算で最先端のベースラインを一貫して上回っていることを示す。
• 参考スコア（独自算出の注目度）: 7.495967547012381
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Key-value (KV) cache management has become a critical bottleneck for scaling Large Language Models (LLMs) to long-context scenarios due to linear memory growth. While recent eviction methods have moved beyond simple attention-score heuristics to incorporate value representations, they typically face a fundamental trade-off: the underlying optimization for minimizing output perturbation is an NP-hard combinatorial problem, leading to mathematically suboptimal heuristics or implementations that are difficult to kernelize. In this work, we propose DropKV, a simple principled eviction framework based on Decoupled Residual-Output Perturbation. By decoupling the joint eviction decision into independent per-token scoring, DropKV circumvents combinatorial intractability and admits a provable constant-factor approximation guarantee under a cone condition that we empirically verify on three long-context LLMs. To ensure practical viability, we provide a high-performance implementation using fused Triton kernels that avoid materializing the full attention matrix, delivering a 19.8x scoring-kernel speedup that translates to up to a 9.9% matched-batch end-to-end prefill speedup. Extensive evaluations on the RULER and LongBench benchmarks demonstrate that DropKV consistently outperforms state-of-the-art baselines at equivalent cache budgets, achieving the lowest inference latency among eviction methods while also remaining faster than the dynamic cache baseline.
• Abstract（参考訳）: キーバリュー(KV)キャッシュ管理は、線形メモリの増大による長期コンテキストシナリオへの大規模言語モデル(LLM)のスケーリングにおいて、重要なボトルネックとなっている。 アウトプット摂動を最小化するための基本的な最適化はNPハードな組合せ問題であり、数学的に最適でないヒューリスティックや実装はカーネル化が難しい。 本研究では,Decoupled Residual-Output Perturbationに基づく単純な原理的消去フレームワークであるDropKVを提案する。 そこでDropKVは, コンディペンデント毎の解答判定を分離することにより, 組み合わせの難易度を回避し, 3つの長文LCMで実証的に検証できるコーン条件下で, 証明可能な定数近似を保証する。 実運用性を確保するため,フルアテンション行列の具体化を回避し,19.8倍のスコアリングカーネル高速化を実現し,最大9.9%のマッチバッチ・エンドツーエンドプリフィル・スピードアップを実現した,融合トリトンカーネルを用いた高性能実装を提案する。 RULERとLongBenchベンチマークの広範囲な評価によると、DropKVは同等のキャッシュ予算で最先端のベースラインを一貫して上回り、退避メソッドの中で最低の推論レイテンシを達成しつつ、動的キャッシュベースラインよりも高速に維持できる。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• OScaR: The Occam's Razor for Extreme KV Cache Quantization in LLMs and Beyond [50.440302567029654]
  マルチモーダルインテリジェンスにより、Key-Valueキャッシュは効率的なデプロイメントのための主要なメモリボトルネックとなった。 本研究では、チャネルごとの量子化パラダイムの本質的な限界を再考する。 X-LLMのための高精度かつ軽量なKVキャッシュ圧縮フレームワークOScaRを提案する。
  論文  参考訳（メタデータ） (2026-05-19T10:53:03Z)
• ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing [41.23077900713446]
  大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュのメモリ要求の増加により、効率的な生成推論の課題に直面している。 本稿では,階層的出力再構成と空間的空間的平滑化を組み合わせたロバストなKV消去手法であるReST-KVを提案する。
  論文  参考訳（メタデータ） (2026-05-09T09:49:32Z)
• Reformulating KV Cache Eviction Problem for Long-Context LLM Inference [2.0590127484132523]
  大きな言語モデル(LLM)は、長いコンテキスト推論をサポートするが、キーバリュー(KV)キャッシュの増大により、メモリとランタイムのオーバーヘッドが大幅に増大する。 既存のKVキャッシュ消去法は、値表現、出力プロジェクション、ヘッド間相互作用の影響を無視し、局所的な注意重みに依存している。 注意マップと投影された値状態の間の乗法的相互作用を明示的にモデル化する新しい消去戦略であるLaProxを紹介する。
  論文  参考訳（メタデータ） (2026-05-08T04:37:22Z)
• Predicting Future Utility: Global Combinatorial Optimization for Task-Agnostic KV Cache Eviction [19.14455067106419]
  現在のKVキャッシュ消去法は、すべての頭において重要な指標としてスコアが一貫したプロキシであることを暗黙的に仮定して、瞬時メトリクスに依存している。 本稿では,長期的セマンティック情報を保存する上で,最適予算配分は限界効用によって管理されるべきであることを示す。 LU-KVの実践的展開を容易にするために,データ駆動型オフラインプロファイリングプロトコルを実装した。
  論文  参考訳（メタデータ） (2026-02-09T12:23:38Z)
• ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
  我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。 我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
  論文  参考訳（メタデータ） (2026-02-03T07:16:51Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。