論文の概要: EchoKV: Self-Corrective KV Cache Eviction via Iterative Query Feedback

• arxiv url: http://arxiv.org/abs/2611.05903v1
• Date: Wed, 04 Nov 2026 03:52:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 03:25:57.935528
• Title: EchoKV: Self-Corrective KV Cache Eviction via Iterative Query Feedback
• Title（参考訳）: EchoKV: 反復クエリフィードバックによる自己補正型KVキャッシュ推定
• Abstract要約: KVキャッシュ消去は単なるトークンレベルの問題ではなく、消去クエリを生成するために保持されるワークスペースもそれらのクエリの品質を決定する。 本稿では、この障害モードを反復補正で検出し、対処するEchoKVを提案する。 ロングベンチ(16タスク、Mistral-7B-Instruct-v0.2とQwen2.5-7B-Instruct)では、エコーKVは分散証拠を必要とする複数のタスクにおいてLAQよりも顕著に改善されている。
• 参考スコア（独自算出の注目度）: 3.7484774696330305
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: KV cache eviction is not merely a token-ranking problem: the workspace retained for generating eviction queries also determines the quality of those queries. Consequently, an early workspace error can distort later query observations and reinforce an incorrect final eviction decision, particularly when evidence is dispersed across a long context. We present EchoKV, which discovers and addresses this failure mode with iterative correction. It initializes a feedback-compatible bootstrap workspace using proposals at future decode positions, then uses early decode-generated queries to recover the workspace before the remaining lookahead steps. It uses the same number of workspace forward passes as LAQ while adding a tensor re-scoring operation for workspace repair. On LongBench (16 tasks, Mistral-7B-Instruct-v0.2 and Qwen2.5-7B-Instruct), EchoKV shows notable improvements over LAQ on several tasks requiring dispersed evidence, including multi-hop cross-document QA and long single-document comprehension. Across budgets and backbones, EchoKV selectively improves evidence-intensive tasks while maintaining comparable performance on the remaining LongBench subsets. These results identify query--workspace coupling as a practical failure mode of query-driven KV eviction.
• Abstract（参考訳）: KVキャッシュの消去は単なるトークンレベルの問題ではなく、消去クエリを生成するために保持されるワークスペースもそれらのクエリの品質を決定する。 その結果、初期のワークスペースエラーは後続のクエリ観測を歪め、特に長いコンテキストにまたがる証拠が分散している場合に、誤った最終排除決定を補強することができる。 本稿では、この障害モードを反復補正で検出し、対処するEchoKVを提案する。 将来のデコード位置でのプロポーザルを使用して、フィードバック互換のブートストラップワークスペースを初期化し、その後、初期のデコード生成クエリを使用して、残りのルックアヘッドステップの前にワークスペースを復元する。 LAQと同じ数のワークスペースフォワードパスを使用し、ワークスペース修復のためのテンソル再描画操作を追加する。 LongBench(16タスク、Mistral-7B-Instruct-v0.2とQwen2.5-7B-Instruct)では、マルチホップのクロスドキュメントQAやロング単一ドキュメント理解など、複数のタスクに対してLAQよりも顕著に改善されている。 予算とバックボーン全体で、EchoKVはエビデンス集約タスクを選択的に改善し、残りのLongBenchサブセットで同等のパフォーマンスを維持している。 これらの結果から,クエリ-ワークスペース結合は,クエリ駆動型KV消去の実用的障害モードであることがわかった。

関連論文リスト

• Librarian Agents: Training LLMs to Curate Long-Context Workspaces that Anticipate Future Queries [61.486885079210055]
  構築者エージェントが生文書を階層的な合成ファイルと参照リンクに変換するフレームワークであるLibrarian Agentsを導入し、下流の応答エージェントに適したワークスペースを形成する。 経験的に、ライブラリアンエージェントはBrowseComp-Plusで最強の検索と事前計算のベースラインを33ポイント上回り、繰り返しクエリで事前構築コストを償却し、31ポイント平均精度の改善でBRIGHT上の未確認領域にゼロショットを一般化する。
  論文  参考訳（メタデータ） (2026-10-15T17:35:17Z)
• TaskPress: Query-Agnostic KV Cache Compression via Task-Guided Pruning [39.9021319826802]
  タスク誘導型クエリ非依存KVキャッシュ消去のためのフレームワークであるTaskPressを紹介する。 単一のクエリに対してキャッシュを最適化する代わりに、TaskPressは高レベルのタスクガイドに条件付き再利用可能なメモリ表現を構築する。 TaskPressは、様々なクエリにまたがるコンパクトで再利用可能なキャッシュを効率的に生成する。
  論文  参考訳（メタデータ） (2026-08-04T07:51:37Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• All-Mem: Agentic Lifelong Memory via Dynamic Topology Evolution [20.68235182577703]
  All-Memは明示的で非破壊的な統合を通じて構造化されたメモリバンクを維持している。 LLM診断器は定期的にオフラインで、SPLIT、MERGE、UPDATEの3つの演算子で実行される信頼性スコアトポロジ編集を提案する。 クエリ時には、タイプドリンクはホップバウンドで、アクティブアンカーから必要に応じてアーカイブされたエビデンスへの予算付き拡張を可能にする。
  論文  参考訳（メタデータ） (2026-03-20T03:14:40Z)
• AMA: Adaptive Memory via Multi-Agent Collaboration [54.490349689939166]
  複数の粒度にまたがるメモリ管理に協調エージェントを活用する新しいフレームワークであるAMA(Adaptive Memory via Multi-Agent Collaboration)を提案する。 AMAは、ステート・オブ・ザ・アートのベースラインを著しく上回り、トークンの消費をフルコンテキストの手法と比べて約80%削減する。
  論文  参考訳（メタデータ） (2026-01-28T08:09:49Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• LazyEviction: Lagged KV Eviction with Attention Pattern Observation for Efficient Long Reasoning [21.761205124793175]
  拡張推論シーケンスでは、キー値(KV)キャッシュの増加によるGPUメモリオーバーヘッドが大幅に増加する。 既存のKVキャッシュ圧縮手法は、メモリボトルネックを軽減するが、長い推論タスクに苦労する。 トークンの繰り返しパターンに基づいた優先順位付けによる遅延繰り返しトークンを保持する観測窓ベースのラッチ消去フレームワークであるLazyEvictionを提案する。
  論文  参考訳（メタデータ） (2025-06-19T02:25:04Z)
• Lookahead Q-Cache: Achieving More Consistent KV Cache Eviction via Pseudo Query [48.52389201779425]
  KVキャッシュメモリの使用は、長いテキストシーケンスで大幅に増加する。 プリフィルステージアテンションスコアを用いた既存のKVキャッシュ消去手法Pruneトークン Lookahead Q-Cacheは、真のデコードステージクエリをよりよく近似するために、低コストの疑似ルックアヘッドクエリを生成する。
  論文  参考訳（メタデータ） (2025-05-24T10:34:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。