論文の概要: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs

• arxiv url: http://arxiv.org/abs/2609.11744v1
• Date: Thu, 10 Sep 2026 16:00:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.440894
• Title: Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs
• Title（参考訳）: py-kvcacheの構築:NVMe SSDを用いたvLLM用外部KVキャッシングの性能評価
• Abstract要約: py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
• 参考スコア（独自算出の注目度）: 0.22940141855172033
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefix caching can reduce the time to first token (TTFT) of long-context LLM requests by reusing previously computed key-value (KV) states, but for short prefixes or fast GPUs, recomputation can be faster than loading from an external cache. We characterize this tradeoff in vLLM across GPU, CPU, and NVMe tiers using synthetic workloads, long-context benchmarks, production traces, and find that cache performance depends on transfer granularity, intermediate memory use, and when transfers enter the request schedule, not only on device bandwidth. These findings motivate py-kvcache, a vLLM KV Offload connector with asynchronous direct I/O, bounded shared staging, and scheduler-aware preloading, which starts disk reads while requests are still waiting, overlapping with compute. At 80k tokens, py-kvcache loading from disk is 2.0x faster than LMCache, with preloading contributing 1.34x. With GPU, CPU, and disk caching enabled, it is 1.23x faster than LMCache and within approximately 4% of the native vLLM KV Offload implementation. LongBench and SCBench show that these benefits extend to irregular prefix chains and multi-turn workloads. Bailian trace replays improve TTFT on a weaker GPU, but on an H100 the average request falls below the break-even point and GPU memory alone retains enough prefixes. External KV caching should therefore be treated as a setup specific admission decision. The py-kvcacheimplementation is available at: https://github.com/atlarge-research/py-kvcache.
• Abstract（参考訳）: プリフィックスキャッシュは、以前計算されたキー値(KV)ステートを再利用することで、長文LLMリクエストの最初のトークン(TTFT)への時間を短縮することができるが、短いプレフィックスや高速GPUの場合、再計算は外部キャッシュからの読み込みよりも高速である。 我々は、このトレードオフを、合成ワークロード、長期コンテキストベンチマーク、プロダクショントレースを使用してGPU、CPU、NVMe層にまたがるvLLMで特徴付け、転送の粒度、中間メモリ使用、および転送がデバイス帯域だけでなく要求スケジュールに入るときのキャッシュ性能に依存することを発見した。 これらの発見は、非同期ダイレクトI/Oを備えたvLLM KV Offloadコネクタであるpy-kvcache、バウンダリ共有ステージング、スケジューラ対応プリロードを動機付け、要求待ちのディスク読み込みを起動し、計算と重なり合う。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。 LongBenchとSCBenchは、これらの利点が不規則なプレフィックスチェーンやマルチターンワークロードにまで拡張されていることを示している。 Bailianトレースリプレイは、より弱いGPU上でTTFTを改善するが、H100では、平均要求はブレークフェアポイント以下になり、GPUメモリだけで十分なプレフィックスを保持する。 したがって、外部KVキャッシュは、設定固有の入場決定として扱われるべきである。 py-kvcache実装は、https://github.com/atlarge-research/py-kvcacheで利用可能である。

関連論文リスト

• InferScale: GPU-Native KV Injection for Personalized LLM Serving [2.1906014825510307]
  InferScaleは、繰り返しプロンプトプリフィルを再利用可能なKV状態に置き換えるGPUネイティブメモリシステムである。 InferScaleは、各メモリファクトのKV表現をプリ計算し、GPUにセマンティック埋め込みと一緒に格納し、サービス時に関連する事実を検索する。 Context-Windowは、ターゲットファクトのKVのみをキャッシュしながら、前の会話コンテキストの小さなウィンドウと共に、各メモリファクトをエンコードする。
  論文  参考訳（メタデータ） (2026-07-29T16:18:22Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
  キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。 セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-04-12T09:02:20Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• LMCache: An Efficient KV Cache Layer for Enterprise-Scale LLM Inference [27.24239725255976]
  LMCacheは、オープンソースのKVキャッシュソリューションとして、これまでで最も効率的です。 現代のLLMエンジンによって生成されたKVキャッシュを抽出し、格納し、エンジンとクエリ間でKVキャッシュを共有する。 LMCacheとvLLMを組み合わせることで,ワークロードのスループットが最大15倍向上することを示す。
  論文  参考訳（メタデータ） (2025-10-08T00:15:04Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• SpeCache: Speculative Key-Value Caching for Efficient Generation of LLMs [44.41154292836592]
  我々は,完全なKVキャッシュをオフロードし,各デコードステップでKVペアを動的にフェッチするSpeCacheを提案する。 LongBenchとNeedle-in-a-Haystackベンチマークの実験では、SpeCacheがVRAMの使用を効果的に削減していることが確認されている。
  論文  参考訳（メタデータ） (2025-03-20T14:01:56Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
  大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。 大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
  論文  参考訳（メタデータ） (2024-07-22T14:37:58Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)
• CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving [31.766738294505767]
  CacheGenは、大きな言語モデルのための高速なコンテキストローディングモジュールである。 カスタムテンソルエンコーダを使用して、KVキャッシュをコンパクトなビットストリーム表現にエンコードする。 KVキャッシュの異なる部分の圧縮レベルを適用して、利用可能な帯域幅の変化に対処する。
  論文  参考訳（メタデータ） (2023-10-11T07:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。