論文の概要: KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression

• arxiv url: http://arxiv.org/abs/2610.08811v1
• Date: Wed, 23 Sep 2026 03:53:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 16:33:44.53959
• Title: KVFetch: Temporal Prefetching for the Missing Half of KV Cache Compression
• Title（参考訳）: KVFetch: KVキャッシュ圧縮の欠如に対する一時的なプレフェッチ
• Abstract要約: 本稿では,任意のスコアベース圧縮機に対して時間的リコールチャネルを開放する,トレーニングフリーのドロップインフレームワークを提案する。 等予算制御下のRULER-16Kでは、KVFetchは動詞のコピーを0.8から78.4に復元し、13タスク平均を+8.4に上げる。 タスクにシーケンシャルなアクセスが不要なLongBenchでは、チャネルは休眠状態のままであり、コストを課さない。
• 参考スコア（独自算出の注目度）: 1.5398471161096456
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As context windows scale to tens or hundreds of thousands of tokens, KV cache compression has become essential for efficient LLM inference. Existing methods fall into three families: score-based eviction, summary compensation, and offload-and-recall. Yet all three decide what to keep or recall by content relevance to the current query. We show this shared design is structurally incomplete. A cache supports two access modes: associative lookup by content and sequential traversal by position; current compressors implement only the first. The gap matters in practice: retrieval-augmented generation, code completion, and structured-data extraction all require the model to reproduce identifiers, field values, or code tokens verbatim from the context. Under compression, content-based eviction retains the head of such a sequence but discards its continuation, causing verbatim copying to break irreversibly midway, a failure we call sequential forgetting. This failure resists better scoring, larger budgets, summary compensation, and dynamic re-scoring; it is the dominant source of remaining quality loss under compression. We propose KVFetch, a training-free, drop-in framework that opens a temporal recall channel for any score-based compressor. It demotes evicted candidates to a quantized cold tier, detects active copying through a monotone read pointer, and prefetches positional successors into fixed-size hot-tier slots without increasing attention cost. On RULER-16K under an iso-budget control, KVFetch recovers verbatim copying from 0.8 to 78.4 and raises the 13-task average by +8.4, with gains concentrating on tasks that require sequential access. On LongBench, where no task requires sequential access, the channel remains dormant and imposes no cost.
• Abstract（参考訳）: コンテキストウィンドウが数十万から数十万のトークンにスケールするにつれ、効率的なLCM推論にはKVキャッシュ圧縮が不可欠になっている。 既存のメソッドは、スコアベースの消去、サマリ補償、オフロード・アンド・リコールの3つのファミリーに分類される。 しかし、3つとも、現在のクエリに対するコンテンツ関連性によって、何を保持するか、リコールするかを決めます。 この共有設計は構造的に不完全であることを示す。 キャッシュは、コンテンツによる連想的なルックアップと、位置によるシーケンシャルなトラバースという2つのアクセスモードをサポートする。 検索強化生成、コード補完、構造化データ抽出は、すべて、コンテキストから指定された識別子、フィールド値、またはコードトークンを再現するモデルを必要とします。 圧縮の下では、コンテンツベースの消去はそのようなシーケンスの先頭を保持するが、継続を破棄し、冗長コピーが不可逆的に壊れてしまう。 この失敗は、より良いスコア付け、より大きな予算、要約補償、動的再描画に抵抗する。 KVFetchは,任意のスコアベース圧縮機に対して時間的リコールチャネルを開放する,トレーニングフリーのドロップインフレームワークである。 排除された候補を量子化されたコールド層に分解し、モノトーンリードポインタを介してアクティブコピーを検出し、固定サイズのホット層スロットに位置後継をプリパッチする。 等予算制御下のRULER-16Kでは、KVFetchは動詞のコピーを0.8から78.4に復元し、13タスク平均を+8.4に引き上げ、シーケンシャルアクセスを必要とするタスクに集中する。 タスクにシーケンシャルなアクセスが不要なLongBenchでは、チャネルは休眠状態のままであり、コストを課さない。

関連論文リスト

• An Empirical Cost Attribution of Context-Compression Gateways in Multi-Turn Coding Agents [0.9689471757238836]
  符号化エージェント (Claude Code, Codex) とフロンティア LLM (Claude Sonnet, GPT-5) 間の生産圧縮ゲートウェイ (Paritok) を実装。 実際のセッションのトークン請求書を3つの独立したレバーに分解する。ツールスキーマフィルタリング、ファイル読み込みとツール出力のコンテンツ圧縮、履歴要約である。 強力なシングルショット圧縮ベンチマーク - SWEベンチの品質の86.5%が25.7%の圧縮速度で維持されており、このゲートウェイがデプロイするモデルによって達成されている - はマルチターンエージェントのコストであり、コスト削減の議論として言及されてはならない。
  論文  参考訳（メタデータ） (2026-08-19T07:43:01Z)
• VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
  VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。 第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。 第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
  論文  参考訳（メタデータ） (2026-08-09T08:17:18Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Fractal KV-Cache Archives: Lossless Symbolic Storage with In-Place Retrieval for Long-Context LLM Inference [0.0]
  キー値(KV)キャッシュは、長文の自動回帰推論のメモリコストを支配している。 我々は、位置のKV状態がコードブックインデックスに量子化されると、結果のシンボルストリームを格納する方法を研究する。 記号列を低次元実ベクトルの列にシリアライズする縮約反復写像の族を再検討する。
  論文  参考訳（メタデータ） (2026-07-08T08:37:49Z)
• STAC: Selective Spatiotemporal Aggregation and Compression for Video Reasoning Segmentation [60.597357847359255]
  ビデオセグメンテーションでは、複雑な自然言語クエリの下で数百フレームにわたるピクセル精度の高いオブジェクトトラッキングが要求される。 既存のメソッドはトークン圧縮を通じてこの問題に対処するが、典型的には時間的コンテキストを持たない機能で動作する。 状態空間モデルは、この制約を解決し、その線形反復性は、各トークンを時間的文脈で選択的に$mathcalO(T)$コスト圧縮して減少させる。
  論文  参考訳（メタデータ） (2026-07-03T03:28:25Z)
• CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference [9.416125453771361]
  長文大言語モデル(LLM)推論は、メモリフットプリントとキー値キャッシュのデコードコストによって、ますます制限されている。 我々は、GQAベースのLLMのためのリソース効率の良いKV-cache圧縮フレームワークであるCompressKVを提案する。 LongBench と Needle-in-a-Haystack の実験により、CompressKV はメモリ予算全体で既存の KV-cache 消去手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-06-23T11:59:46Z)
• KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
  スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。 2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。 32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
  論文  参考訳（メタデータ） (2025-12-01T03:59:20Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。