論文の概要: When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression

• arxiv url: http://arxiv.org/abs/2605.08234v1
• Date: Thu, 07 May 2026 00:36:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.48356
• Title: When Does Value-Aware KV Eviction Help? A Fixed-Contract Diagnostic for Non-Monotone Cache Compression
• Title（参考訳）: 値認識型KV消去はいつ有効か?非モノトンキャッシュ圧縮のための固定契約診断
• Abstract要約: 長文LLM推論は、デコード中に大きなKVキャッシュを読み取る際のメモリと帯域幅のコストによってボトルネックとなる。 KV圧縮は、キャッシュの一部だけを保持することで、このコストを削減するが、タスク精度だけでは、セレクタが成功したり失敗したりする理由を特定できない。 セレクタは3つのステップで失敗する可能性がある: 将来の復号化の必要性の証拠を見逃し、出力に影響を与えないトークンに高いスコアを与えるか、スコアを小さなキャッシュに組み込む際に関連する証拠を壊す。 我々は,セレクタのセットアップを固定し,一度に1つの決定スロットを変更する固定契約診断を導入する。
• 参考スコア（独自算出の注目度）: 12.959497604836956
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context LLM inference is bottlenecked by the memory and bandwidth cost of reading large KV caches during decoding. KV compression reduces this cost by keeping only part of the cache, but task accuracy alone does not identify why a selector succeeds or fails. A selector can fail at three steps: it may miss the evidence future decoding needs, give high scores to tokens that do not affect the output, or break related evidence when fitting scores into a small cache. We introduce a fixed-contract diagnostic that holds the selector's setup fixed and changes one decision slot at a time. For value ranking, the probe combines a block's attention mass with the estimated output change from removing it. On LongBench across three models and two budgets, the probe is positive on 72.6% of positive-margin cells and 32.4% of nonpositive-margin cells. NeedleBench M-RT at 32k and a RULER 8k check probe support closure under branched retrieval, and a 264-cell sign evaluation separates support recovery and output-value ranking from leverage effects near the boundary. The resulting order is to recover decode-side evidence, rank its output value, and preserve coupled evidence during projection.
• Abstract（参考訳）: 長文LLM推論は、デコード中に大きなKVキャッシュを読み取る際のメモリと帯域幅のコストによってボトルネックとなる。 KV圧縮は、キャッシュの一部だけを保持することで、このコストを削減するが、タスク精度だけでは、セレクタが成功したり失敗したりする理由を特定できない。 セレクタは3つのステップで失敗する可能性がある: 将来の復号化の必要性の証拠を見逃し、出力に影響を与えないトークンに高いスコアを与えるか、スコアを小さなキャッシュに組み込む際に関連する証拠を壊す。 我々は,セレクタのセットアップを一定に保ち,一度に1つの決定スロットを変更する固定契約診断を導入する。 値ランク付けのために、プローブはブロックの注目質量と推定出力変化とを、除去から組み合わせる。 3つのモデルと2つの予算にわたるロングベンチでは、このプローブは72.6%の陽性マージン細胞、32.4%の非陽性マージン細胞に対して陽性である。 32kのNeedleBench M-RTと分岐検索下でのRULER 8kチェックプローブサポートクロージャ、および264セル符号評価により、バウンダリ近傍のレバレッジ効果から、サポート回復と出力値ランキングを分離する。 結果として得られた順序は、デコード側の証拠を回収し、出力値をランク付けし、投影中に結合した証拠を保存することである。

関連論文リスト

• Random Attention: Rethinking KV Cache Eviction for Efficient Reasoning [78.75986976062454]
  大規模言語モデルは、拡張推論を必要とするタスクにおいて優れたパフォーマンスを達成する。 既存のKVキャッシュ圧縮メソッドは、1つのパラダイムを共有している。 選択信号はほとんど役に立たないことを示す。ランダム注意は各アテンションヘッド内でプロンプトと退避者をランダムに保ち、スコアを全く計算しない。
  論文  参考訳（メタデータ） (2026-09-03T06:38:38Z)
• D$^2$ACCI: A Dual-Loop Diagnostic Protocol for Evidence-Preserving Agent Memory [10.177699115336425]
  D$2$ACCIプロトコルは、ペア化されたエビデンス、保護されたスライス監視、トレースレベルのローカライズ可能性に基づいて、メモリ介入を促進、機能フラグ、拒否する。 我々はMemStackでプロトコルをインスタンス化し、3つの公開ベンチマークで評価し、LoCoMoで93.59%、LongMemEvalで90.93%、PersonaMem-V2で57.20%を達成した。
  論文  参考訳（メタデータ） (2026-08-18T13:18:38Z)
• KVDiagnosis: A Diagnostic Benchmark for KV-Cache Compression in Long-Context Language Models [5.349156411852564]
  KV-cache圧縮は、長いコンテキストメモリを減らすが、アグリゲートタスクスコアは、どの正しい実行が失敗するか、なぜ失敗するかを明らかにしない。 我々は3つのコントリビューションを持つ診断データセットとベンチマークであるKVDiagnosisを提示する。
  論文  参考訳（メタデータ） (2026-08-10T10:38:05Z)
• Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
  我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。 グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
  論文  参考訳（メタデータ） (2026-08-06T15:38:55Z)
• Does Accuracy Equal Evidence? Reasoning Faithfulness under KV Cache Compression [42.94199567901975]
  KVキャッシュ圧縮は、一般に最終回答精度によって評価され、答えを保存することもそれをサポートする推論を保存することを暗黙的に仮定する。 我々は、この仮定を大きな推論モデルで検証し、失敗する可能性があることを示す。 数理的推論,科学的QA,臨床計算,長文検索の3つのモデルに対して,10個のトークン消去KV圧縮法と1つの量子化法を評価した。
  論文  参考訳（メタデータ） (2026-08-03T03:03:53Z)
• Stage-Replay Divergence Follows the KV Cache: Fixed-Prefix Precision Controls and Bidirectional Cache Transplantation [51.56484100374058]
  Stage-replayは中間トークンプレフィックスを再構築し、プレフィックスに最初に到達したデコーダ状態からの継続として、新しいプリフィル継続を処理する。 一致した200itemの実験では、保持されたライブキャッシュと同一の整数トークンのワンショットプリフィルを比較し、両側に正確なレプリカを配置する。
  論文  参考訳（メタデータ） (2026-07-30T16:41:40Z)
• WitCert: Sound Runtime Risk Observability and Gating for KV-Cache Quantization [20.158719055939383]
  KV-cache量子化は今日、オフラインベンチマーク平均によって検証されている。 デプロイされたシステムは、現在提供されている要求に圧縮がダメージを与えているかどうかを判断できない。 KV量子化のためのDTraceを実証可能な健全なランタイムメータとして提供します。
  論文  参考訳（メタデータ） (2026-07-30T11:04:45Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
  固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。 アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。 また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
  論文  参考訳（メタデータ） (2026-07-13T23:13:57Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• When Stored Evidence Stops Being Usable: Scale-Conditioned Evaluation of Agent Memory [4.425240080125479]
  本稿では,エビデンス保存型成長下でのエージェントメモリのスケールコンディション評価プロトコルを提案する。 各クエリに対して、タスクエビデンスが固定され、無関係なセッションが追加される。 このプロトコルはエージェントメモリトラジェクトリをログし、4つの診断結果を報告する。
  論文  参考訳（メタデータ） (2026-05-08T06:22:31Z)
• Echo: KV-Cache-Free Associative Recall with Spectral Koopman Operators [45.88028371034407]
  スペクトルクープマン注意(SKA)を中心に構築されたKV-cacheフリー連想リコールアーキテクチャ 我々は、SKA(Spectral Koopman Attention)を中心に構築されたKV-cacheフリーな連想型リコールアーキテクチャであるEchoを紹介する。
  論文  参考訳（メタデータ） (2026-05-07T22:26:27Z)
• EviMem: Evidence-Gap-Driven Iterative Retrieval for Long-Term Conversational Memory [19.027571478872]
  IRIS(Iterative Retrieval via Insufficiency Signals)とLaceMem(Layered Architecture for Conversational Evidence Memory)を組み合わせたEviMemを提案する。 LoCoMoでは、EviMemは、時間(73.3%から81.6%)とマルチホップ(65.9%から85.2%)の質問を4.5倍のレイテンシでMIRIXよりも精度を向上させる。
  論文  参考訳（メタデータ） (2026-04-30T10:37:04Z)
• WISV: Wireless-Informed Semantic Verification for Distributed Speculative Decoding in Device-Edge LLM Inference [56.297697169678095]
  WISV(Wireless-Informed Semantic Verification)は、分散投機的復号化フレームワークである。 WISVは最大60.8%の許容長の増加、37.3%の対話ラウンドの削減、31.4%のエンドツーエンドレイテンシの改善を実現している。 NVIDIA Jetson AGX OrinとA40搭載サーバからなるハードウェアテストベッド上でWISVを検証する。
  論文  参考訳（メタデータ） (2026-04-20T01:29:56Z)
• Near-Oracle KV Selection via Pre-hoc Sparsity for Long-Context Inference [54.467557491325046]
  本稿では,注意スコアの前にKVエントリを選択し,明示的な精度制御を行うプリホックスパシティ(PrHS)を提案する。 PrHSは検索オーバーヘッドを90%以上削減し、HShareよりも3倍高い精度で検索できる。 これはLongBenchの平均劣化率を1%以下に抑え、FLOPを約15%減らし、9.9倍のレイテンシと2.8倍のスループットを得る。
  論文  参考訳（メタデータ） (2026-02-09T07:05:23Z)
• S$^3$-Attention:Attention-Aligned Endogenous Retrieval for Memory-Bounded Long-Context Inference [11.779449360037518]
  S3-Attentionは,長期コンテキスト処理を注目に順応した内因性検索として扱うメモリファースト推論時フレームワークである。 S3-Attentionは、軽量なスパースオートエンコーダを使用して、トランジェントキーとクエリプロジェクションをトップkスパース機能識別子にデコードする。 単一のストリーミングスキャン中にトークンの位置やスパンにCPUベースの逆インデックスマッピング機能を構築する。
  論文  参考訳（メタデータ） (2026-01-25T05:25:22Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。