論文の概要: Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap

• arxiv url: http://arxiv.org/abs/2608.23658v1
• Date: Mon, 24 Aug 2026 15:49:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.468982
• Title: Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap
• Title（参考訳）: LLMサービングのための弾性KVキャッシュ:作業回収機構とチャンクドプレフィルが既にギャップを閉じている理由
• Abstract要約: 弾性KVキャッシュはデコード中にKVプールにリザーブを貸し出し、プリフィル前に返します。 同じメモリの静的コミットは、プリフィルバーストで安全ではないため、動的トグルが必要になる。 小さめのプリフィルチャンクサイズが、プリフィルの遅延をひどく損なう場合に限る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: An LLM serving engine sizes its key-value (KV) cache once, at startup, permanently setting aside a reserve for the worst-case prefill activation. During decode-dominant phases that reserve sits idle, yet it cannot be handed to the KV pool because it is exactly the memory a large prefill needs. We ask whether this reserve is reclaimable, and build a mechanism to test it. Our elastic KV cache lends the reserve to the KV pool during decode and returns it before prefill, driven by the scheduler's one-step-ahead view of the next batch. It is pure userspace on the CUDA virtual-memory path: two physical handles mapped into one contiguous virtual range per layer, so the attention kernel is unchanged and no driver patch is required. It decommits in a few milliseconds and recommits in tens of milliseconds, works with CUDA graphs and prefix caching, and never triggers an out-of-memory event. A static commit of the same memory is unsafe, crashing on prefill bursts, which makes the dynamic toggle necessary. Having built the mechanism, we test the premise it rests on and report an honest negative result. It only pays off if a small prefill chunk size badly hurts prefill latency. In a controlled experiment injecting long prompts into a live decode load, that penalty is small (median time-to-first-token differs by about 1% between chunk sizes of 8192 and 32768 tokens), because prefill is compute bound and decode consumes only about one token per sequence per step. Simply lowering max_num_batched_tokens recovers more KV than the controller does, at nearly equal latency. The reserve also dilutes under tensor parallelism, from 16% of KV at TP1 to 2.7% at TP4. We state precisely when reclaiming the reserve could still help, and release the mechanism as a reusable userspace elastic-VMM allocator.
• Abstract（参考訳）: LLMサービスエンジンは、そのキー値(KV)キャッシュを起動時に、最悪のプリフィルアクティベーションのリザーブを永久に設定する。 リザーブがアイドル状態にあるデコード支配のフェーズでは、大きなプリフィルを必要とするメモリであるため、KVプールに渡すことはできない。 この保護区が再生可能かどうかを問うとともに、それをテストするためのメカニズムを構築します。 我々の弾性的なKVキャッシュは、デコード中にKVプールにリザーブを貸し出し、スケジューラの次のバッチのワンステップビューによって、プリフィル前に返します。 2つの物理ハンドルが1層ごとに1つの連続した仮想範囲にマッピングされるため、アテンションカーネルは変更されず、ドライバパッチは不要である。 数ミリ秒で切断され、数ミリ秒で再コミットされ、CUDAグラフとプレフィックスキャッシュで動作する。 同じメモリの静的コミットは安全ではなく、プリフィルバーストでクラッシュするため、動的トグルが必要になる。 メカニズムを構築した上で、その前提をテストし、率直なネガティブな結果を報告します。 小さめのプリフィルチャンクサイズが、プリフィルの遅延をひどく損なう場合に限る。 ライブデコードロードに長いプロンプトを注入する制御された実験では、ペナルティは小さい(中間のタイム・ツー・ファースト・トークンは8192トークンと32768トークンのチャンクサイズで約1%異なる)。 簡単にmax_num_batched_tokensを下げると、ほぼ同じレイテンシで、コントローラよりも多くのKVを回復する。 また、TP1ではKVの16%からTP4では2.7%まで、テンソル平行性の下で希釈される。 我々は、リザーブドの再利用がまだ役立つことを正確に述べ、再利用可能なユーザスペースの弾力性を持つVMMアロケータとして、そのメカニズムをリリースします。

関連論文リスト

• Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
  py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
  論文  参考訳（メタデータ） (2026-09-10T16:00:35Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• InferScale: GPU-Native KV Injection for Personalized LLM Serving [2.1906014825510307]
  InferScaleは、繰り返しプロンプトプリフィルを再利用可能なKV状態に置き換えるGPUネイティブメモリシステムである。 InferScaleは、各メモリファクトのKV表現をプリ計算し、GPUにセマンティック埋め込みと一緒に格納し、サービス時に関連する事実を検索する。 Context-Windowは、ターゲットファクトのKVのみをキャッシュしながら、前の会話コンテキストの小さなウィンドウと共に、各メモリファクトをエンコードする。
  論文  参考訳（メタデータ） (2026-07-29T16:18:22Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• Execution-State Capsules: Graph-Bound Execution-State Checkpoint and Restore for Low-Latency, Small-Batch, On-Device Physical-AI Serving [0.5076419064097734]
  我々は、低レイテンシ、小バッチ、デバイス上の物理AIサービスという、反対の体制について研究する。 完全復元可能な状態に対するグラフバウンドチェックポイントと復元機構である実行状態カプセルを導入する。 これにより、トークンアドレス付きKVフラグメントからグラフバウンド実行状態境界への再利用が実現される。
  論文  参考訳（メタデータ） (2026-06-18T17:49:36Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• MEPIC: Memory Efficient Position Independent Caching for LLM Serving [16.99046229452175]
  位置,要求,バッチ間でのチャンクKVの再利用を可能にするメモリ効率のよいシステムを提案する。 MePICはチャンクKVをページストレージにアライメントし、再計算をトークンレベルからブロックレベルにシフトする。
  論文  参考訳（メタデータ） (2025-12-18T18:04:01Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。