論文の概要: Risk-Controlled KV-Cache Eviction: From Memory Budgets to Risk Targets

• arxiv url: http://arxiv.org/abs/2609.27981v1
• Date: Wed, 23 Sep 2026 12:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.010239
• Title: Risk-Controlled KV-Cache Eviction: From Memory Budgets to Risk Targets
• Title（参考訳）: リスク制御KVキャッシュ推定:メモリ予算からリスク目標へ
• Abstract要約: KVキャッシュの排除は、平均的な品質メモリトレードオフを通じて評価されるが、最小限の損失は、実用性が著しく低下した要求を隠蔽することができる。 我々は,エビクションを配置リスク制御問題として再定義し,エビクションがデプロイメント固有の寛容性以上のタスクユーティリティを低下させると,物質劣化が発生する。
• 参考スコア（独自算出の注目度）: 3.690613329885926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV-cache eviction is typically evaluated through average quality-memory trade-offs, yet a small average loss can hide requests whose utility degrades materially. We reformulate eviction as a deployment risk-control problem: a material degradation occurs when eviction lowers task utility by more than a deployment-specified tolerance relative to full-KV inference on the same request, and deployment risk is the population frequency of such events. Given a reliability contract specifying a target risk level and confidence requirement, we use a compressor-agnostic post-hoc certification procedure to select a retention policy from calibration data with a finite-sample guarantee, falling back to full KV when no compressed policy is certified. Across multiple eviction methods, Llama and Mistral models, and LongBench and RULER-32K, the same contract supports substantially different levels of eviction: on Llama, it certifies SnapKV at 75% retention on LongBench but no tested compressed policy on RULER-32K, triggering full-KV fallback. Policies with empirical degradation rates below the 5% target can still fail finite-sample certification; on Llama LongBench, empirical thresholding selects uncertified policies that retain 5-10 percentage points less cache across fixed-budget methods. The proposed framework converts a deployment-level reliability requirement into a KV-memory operating point.
• Abstract（参考訳）: KVキャッシュの排除は、通常、平均的な品質とメモリのトレードオフを通じて評価されるが、平均的な損失は、実用性が著しく低下した要求を隠蔽することができる。 我々は,エビクションを,同じ要求に対するフルKV推論に対して,タスクユーティリティを最大以上の許容範囲で低下させると,物質劣化が発生し,展開リスクはそのような事象の集団発生頻度である,という,デプロイリスク制御問題として再定義する。 目標リスクレベルと信頼性要件を規定する信頼性契約が与えられた場合、圧縮されたポリシが認定されていない場合には、圧縮されたポリシが完全KVにフォールバックする、有限サンプル保証付きキャリブレーションデータから保持ポリシーを選択するために、圧縮器に依存しないポストホック認証手順を使用する。 Llamaでは、LongBenchの75%の保持でSnapKVを認証するが、RULER-32Kの圧縮されたポリシーはテストされず、フルKVのフォールバックを引き起こす。 Llama LongBenchでは、経験的閾値付けは固定予算法で5-10ポイント少ないキャッシュを保持する未認証のポリシーを選択する。 提案フレームワークは,デプロイメントレベルの信頼性要件をKVメモリの動作ポイントに変換する。

関連論文リスト

• Adaptive Finite-Budget Training for CVaR Risk-Aware Q-Learning [7.373349445059511]
  リスク対応Q-ラーニング(RaQL)は、動的リスク目標に対するモデルフリーで2時間スケールの推定手段を提供する。 本稿では,CVaR(Conditional Value-at-Risk) RaQLの適応型トレーニングコントローラを提案し,これを日々のBitcoin取引タスクで評価する。
  論文  参考訳（メタデータ） (2026-08-05T00:26:22Z)
• Alignment Collapse Under KV Cache Quantization: Diagnosis and Mitigation [6.129872931808218]
  キー値(KV)キャッシュの量子化は、Large Language Model(LLM)推論メモリの削減に広く利用されている。 本研究では,KVキャッシュ量子化下でのアライメント保存について検討する。 低ビット量子化は安全アライメントを静かに破壊することができる。
  論文  参考訳（メタデータ） (2026-06-01T02:02:20Z)
• Runtime-Certified Bounded-Error Quantized Attention [0.0]
  本稿では,実行時対応型KVキャッシュアーキテクチャを提案する。 二項誤差分解は、キー量子化および(ii)値再構成誤差から、(i)注目分布歪みに対するヘッド当たり、ステップ当たりのバウンダリが得られる。 PG-19、NIAH、RULERのベンチマークにおいて、このシステムは言語モデリングと検索タスクのためのノイズ内の密度の高いFP16 KV品質と一致している。
  論文  参考訳（メタデータ） (2026-05-20T08:04:40Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Transactional Attention: Semantic Sponsorship for KV-Cache Retention [0.0]
  K=16トークン(4Kコンテキストの0.4%)では、既存のKV-cache圧縮法はすべてクレデンシャル検索の0%を達成する。 構造的アンカーパターンが隣接した値を持つトークンを排除から保護するスポンサー機構であるトランザクション注意(TA)を導入する。
  論文  参考訳（メタデータ） (2026-04-13T10:51:46Z)
• Byzantine-Robust and Differentially Private Federated Optimization under Weaker Assumptions [89.52532304099522]
  フェデレートラーニング(FL)は、クライアントが生データを集中せずに共有モデルを共同でトレーニングすることを可能にし、固有のプライバシーレベルを提供する。 グラデーションとモデル更新は機密情報を漏洩する可能性があるが、悪意のあるサーバはビザンティン操作のような敵攻撃をマウントする可能性がある。 これらの脆弱性は、統合されたフレームワーク内の差分プライバシー(DP)とビザンチンの堅牢性に対処する必要性を強調している。 Byz-Clip21-SGD2Mを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:39:09Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• No Token Left Behind: Reliable KV Cache Compression via Importance-Aware Mixed Precision Quantization [31.806112535762367]
  キーバリューキャッシングは、生成型大規模言語モデル(LLM)の推論速度とスループットを加速する重要な技術となっている。
  論文  参考訳（メタデータ） (2024-02-28T06:34:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。