論文の概要: CacheWeave: Learning to Recompute for Efficient Position-Independent KV Caching

• arxiv url: http://arxiv.org/abs/2611.01735v1
• Date: Sun, 01 Nov 2026 09:35:55 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:37:12.718382
• Title: CacheWeave: Learning to Recompute for Efficient Position-Independent KV Caching
• Title（参考訳）: CacheWeave: 位置に依存しない効率的なKVキャッシングを再現する学習
• Abstract要約: 我々は、完全なバックボーンをPICに適合させ、それを凍結し、適応モデルのオークル上でモデルネイティブブロックセレクタをトレーニングするCacheWeaveを提案する。 そのランタイムであるCacheWeave-Serveは、プライベートおよび共有KVキャッシュをサポートし、GPUの選択と再計算を継続し、ハイブリッドアテンションモデルのためのスライドウィンドウKVをステージ化する。 32tokenブロックを使用すると、CacheWeave-Serveはフルプリフィルで最大16.1倍、ProphetKVで1.7倍、SLOの出力を最大7.8倍に削減する。
• 参考スコア（独自算出の注目度）: 22.125351743900197
• License:
• Abstract: Position-independent caching reuses chunk KV caches across positions and requests. Independent encoding, however, omits cross-chunk interactions and can degrade accuracy. In our study, neither PIC training nor rule-based recomputation, alone or combined, consistently recovers full-prefill accuracy. Oracle-guided recomputation on PIC-trained models improves accuracy at the same budget, motivating better selection. We present CacheWeave, which adapts the full backbone to PIC, then freezes it and trains a model-native block selector on the adapted model's oracles. The selector uses compact cached chunk features and question hidden states without extracting backbone attention scores. It selects contiguous token blocks aligned with KV blocks to support efficient recomputation and limit copy-on-write amplification. Its runtime, CacheWeave-Serve, supports private and shared KV caches, keeps selection and recomputation on the GPU, and stages sliding-window KV for hybrid attention models. Across three models and four tasks, CacheWeave outperforms CacheBlend and ProphetKV by 7.2 and 3.5 percentage points on average at a 5% recomputation budget, with a mean relative accuracy loss of 1.6% to full prefill. With 32-token blocks, CacheWeave-Serve cuts single-request TTFT by up to 16.1x over full prefill and 1.7x over ProphetKV, and raises SLO goodput under load by up to 7.8x.
• Abstract（参考訳）: 位置に依存しないキャッシュは、位置と要求間でチャンクKVキャッシュを再利用する。 しかし、独立符号化はチャンク間の相互作用を省略し、精度を低下させる。 本研究は, PICトレーニングとルールベースの再計算を単独でも組み合わせても, 完全補充精度は一貫して回復しない。 PICで訓練されたモデルのOracle指導による再計算は、同じ予算で精度を改善し、より良い選択を動機付けます。 我々は、完全なバックボーンをPICに適合させ、それを凍結し、適応モデルのオークル上でモデルネイティブブロックセレクタをトレーニングするCacheWeaveを提案する。 セレクタは、バックボーンのアテンションスコアを抽出することなく、コンパクトなキャッシュされたチャンク機能と疑似隠れ状態を使用する。 KVブロックと一致した連続したトークンブロックを選択し、効率的な再計算とコピー・オン・ライト増幅の制限をサポートする。 そのランタイムであるCacheWeave-Serveは、プライベートおよび共有KVキャッシュをサポートし、GPUの選択と再計算を継続し、ハイブリッドアテンションモデルのためのスライドウィンドウKVをステージ化する。 3つのモデルと4つのタスクにわたって、CacheWeaveはCacheBlendとProphetKVを平均7.2および3.5パーセントの再計算予算でパフォーマンスし、平均的な相対的精度損失が1.6%の完全プリフィルである。 32tokenブロックを使用すると、CacheWeave-Serveはフルプリフィルで最大16.1倍、ProphetKVで1.7倍、SLOの出力を最大7.8倍に削減する。

関連論文リスト

• BELT : BEhavior-Aligned Low-Rank KV Cache Compression with Learned Top-k Rank Allocation [10.254585561716233]
  低ランクなKVキャッシュ圧縮フレームワークであるBELTを提案する。 キーサイドの目標は、生のキーやプレソフトマックスのロジットではなく、アテンションの分布をターゲットにしている。 BELTは最大70%の低ランクのKVキャッシュ圧縮を実現し、LongBenchでは23.3ポイントの差で最強のベースラインを上回っている。
  論文  参考訳（メタデータ） (2026-10-13T08:42:38Z)
• RelaxKV: Recomputation Guided by the Query with Sparse Context Attention for Efficient KV Cache Reuse [11.49301528421843]
  クロスリクエストKVキャッシングはレトリーバル拡張ジェネレーション(RAG)のプリフィルコストを低減させる RelaxKVは、修復目標と再計算コンテキストに対する共同割り当て問題として選択的なキャッシュ修復を定式化する。
  論文  参考訳（メタデータ） (2026-09-27T12:12:00Z)
• CacheBridge: Efficient Cross-Model KV Cache Transfer [12.058564378845373]
  フルヘッドマッピングは、ターゲットのKVヘッドを各ソースのKVヘッドから選択したレイヤにマッピングすることで、アーキテクチャ上の違いに敏感な転送品質を実現する。 CacheBridgeは、アーキテクチャインデクシングされたマッパーサポート、アテンションアラインなキャリブレーション、バウンダリされたマッパー構築を共同設計する。 Qwen3 $14mathrmBto32mathrmB$では、マッパーストレージを8times$に減らし、アプリケーションを3.0times$に加速し、キャリブレーションデータの10分の1とフルヘッドにマッチし、500シークエンス構築を92.63から8に短縮する。
  論文  参考訳（メタデータ） (2026-09-01T08:20:35Z)
• Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving [18.829614918483255]
  AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
  論文  参考訳（メタデータ） (2026-06-01T23:51:37Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• CacheClip: Accelerating RAG with Effective KV Cache Reuse [8.016679032026824]
  CacheClipは、高速TTFTとハイジェネレーション品質の両方を実現する新しいフレームワークである。 本手法は,(1)選択的KVキャッシュ再計算のための補助モデル誘導トークン選択,(2)冗長な注意シンクを排除するための共有プレフィックス,(3)局所コヒーレンスを維持するためのグループ化戦略の3つの手法を統合する。
  論文  参考訳（メタデータ） (2025-10-11T09:28:26Z)
• R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
  共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。 R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。 驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
  論文  参考訳（メタデータ） (2025-05-30T02:03:24Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。