論文の概要: Where Should the KV Cache Live? Placement Policies Across GPU, CPU, and SSD for Long-Lived Sessions

• arxiv url: http://arxiv.org/abs/2609.16215v1
• Date: Mon, 14 Sep 2026 18:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.17976
• Title: Where Should the KV Cache Live? Placement Policies Across GPU, CPU, and SSD for Long-Lived Sessions
• Title（参考訳）: KVキャッシュはどこにあるべきか? 長期セッションのためのGPU、CPU、SSDをまたいだ配置ポリシー
• Abstract要約: TieringはGPU毎の73.02倍の並列セッションをサポートし、セッション毎のコストを62.04倍削減する。 我々は、チャット、エージェント、文書質問応答のワークロードをまたいで、正確さ、再利用頻度、予測再利用率、EWMA予測器を比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: GPU high bandwidth memory is scarce and expensive, and KV caches consume much of it as chats, agent loops, and document question answering accumulate state. Systems such as Mooncake, LMCache, FlexGen, InfiniGen, and AttentionStore extend GPU memory with CPU DRAM and SSD. The harder question is which blocks belong in each tier, when to move or evict them, and whether prefetching helps. We study these choices in a discrete event simulator spanning GPU HBM, CPU DRAM, and SSD, calibrated against a random forest execution time predictor. We compare recency, reuse frequency, predicted reuse, and an EWMA predictor with prefetch lookahead across chat, agent, and document question answering workloads. Tiering supports 73.02 times more concurrent sessions per GPU and lowers cost per session by 62.04 times. These gains come from tier capacities of 1 plus 8 plus 64, not placement policy. Decode is compute bound at batch size one in our setup, so placement barely affects throughput. It mainly changes PCIe migration traffic and time to first token. Recency produces 2.30 times less migration traffic than reuse frequency for chat. Reuse frequency performs best for agents and document question answering. The existing predicted reuse policy is byte identical to recency, making its agent recommendation effectively recency. A genuine EWMA predictor changes behavior but still ranks behind reuse frequency on the workloads prediction was expected to help. Prefetching does not justify its bandwidth cost. Across the policy and cache size grid, even an oracle with knowledge of future requests never beats no prefetch on migration traffic. Workload specific placement can reduce data movement, but the predicted reuse and prefetch recommendations are not supported as implemented.
• Abstract（参考訳）: GPUの高帯域メモリは乏しく高価であり、KVキャッシュはチャット、エージェントループ、ドキュメント質問応答の蓄積状態として、その多くを消費する。 Mooncake、LMCache、FlexGen、InfiniGen、AttentionStoreなどのシステムはGPUメモリをCPU DRAMとSSDで拡張する。 難しい疑問は、どのブロックが各階層に属しているか、いつ移動するか、削除するか、プリフェッチが役に立つかどうかである。 我々はこれらの選択を、GPU HBM、CPU DRAM、SSDにまたがる離散イベントシミュレータで検討し、ランダムな森林実行時間予測器に対して校正する。 我々は、チャット、エージェント、文書質問応答のワークロードをまたいで、正確さ、再利用頻度、予測再利用率、EWMA予測器を比較した。 TieringはGPU毎の73.02倍の並列セッションをサポートし、セッション毎のコストを62.04倍削減する。 これらの利得は、配置方針ではなく、1プラス8プラス64の層容量から得られる。 セットアップでは、Decodeはバッチサイズでバウンドされるので、配置はスループットにはほとんど影響しません。 主にPCIeのマイグレーショントラフィックと時間をファーストトークンに変更する。 Recencyは、チャットの再利用頻度の2.30倍のマイグレーショントラフィックを発生させる。 再利用頻度は、エージェントや文書質問応答に最適である。 既存の予測再利用ポリシは、そのエージェント推奨が事実上のリレーレンシーとなるように、リレーレンシーとほぼ同一である。 真のEWMA予測器は動作を変えるが、ワークロード予測の再利用頻度より下位にあることが期待されている。 プレフェッチは帯域幅のコストを正当化しない。 ポリシとキャッシュサイズグリッド全体にわたって、将来的な要求に関する知識を持った託宣でさえ、移行トラフィックに対する前向きさを決して上回りません。 ワークロード固有の配置はデータの移動を減らすことができるが、予測された再利用とプリフェッチレコメンデーションは実装通りにはサポートされない。

関連論文リスト

• Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
  py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
  論文  参考訳（メタデータ） (2026-09-10T16:00:35Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Move the Query, Not the Cache: Characterizing Cross-Instance Latent Attention Redistribution Across GPU Fabrics [1.081571058570587]
  Multi-head Latent Attentionは算術を逆転し、各トークンのキーと値を1つの狭いベクトルに圧縮する。 実マルチノードH100クラスタ上でのクロスインスタンスMLAの注意を特徴付ける。
  論文  参考訳（メタデータ） (2026-05-31T23:53:24Z)
• ChunkFlow: Communication-Aware Chunked Prefetching for Layerwise Offloading in Distributed Diffusion Transformer Inference [13.062229091130115]
  ChunkFlowは、GPUメモリのための通信対応でチャンク粒度のオフロードランタイムである。 SGLangの既存のレイヤワイド・オフロードよりも1.28倍のステップタイム・スピードアップを実現している。 ChunkFlowは変更可能なメモリレイテンシトレードオフを公開し、小さなワークロードレシエーションでほぼゼロのステップタイムオーバーヘッドを回復する。
  論文  参考訳（メタデータ） (2026-05-11T23:41:16Z)
• Semantic-Aware Adaptive Visual Memory for Streaming Video Understanding [55.7992006853979]
  SAVEMemは、セマンティックな認識をメモリ生成にもたらすフレームワークで、クエリ毎に検索スコープを適応させる。 SAVEMemは、メモリ生成にセマンティックな認識をもたらし、クエリ毎に検索範囲を適応させる、トレーニングフリーのデュアルステージフレームワークである。
  論文  参考訳（メタデータ） (2026-05-08T15:40:40Z)
• Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
  長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。 この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。 本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
  論文  参考訳（メタデータ） (2026-02-02T13:52:40Z)
• Harvest: Opportunistic Peer-to-Peer GPU Caching for LLM Inference [0.0]
  LLM(Large Language Model)推論は、計算スループットよりもGPUメモリ容量に制限されている。 本稿では,高帯域幅のピアツーピアGPU相互接続を利用したGPUキャッシュ管理フレームワークであるHarvestを紹介する。 本研究では、Harvestを用いて2つの広く使われている推論コンポーネントの検索を高速化することにより、2倍以上のスループットの大幅な高速化を示す。
  論文  参考訳（メタデータ） (2026-01-30T21:29:04Z)
• A Universal Framework for Compressing Embeddings in CTR Prediction [68.27582084015044]
  本稿では,事前学習した埋め込みを定量化することにより,埋め込みテーブルを圧縮するモデル非依存型埋め込み圧縮(MEC)フレームワークを提案する。 まず、高頻度特徴と低周波特徴のバランスをとるために、人気重み付け正規化を適用します。 3つのデータセットの実験により,提案手法はメモリ使用量を50倍以上削減し,レコメンデーション性能を維持・改善する。
  論文  参考訳（メタデータ） (2025-02-21T10:12:34Z)
• vCache: Verified Semantic Prompt Caching [95.16654660556975]
  本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。 オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。 我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
  論文  参考訳（メタデータ） (2025-02-06T04:16:20Z)
• Cache-Craft: Managing Chunk-Caches for Efficient Retrieval-Augmented Generation [14.842469293627271]
  CacheCraftは、テキストチャンクに対応する計算済みKVの再利用を管理するシステムである。 再利用可能なチャンクキャッシュの特定方法、キャッシュの修正に少数の再計算を効率的に行う方法、ハードウェアにチャンクキャッシュを効率よく保存・削除する方法を示す。
  論文  参考訳（メタデータ） (2025-02-05T14:12:33Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。