論文の概要: TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash

• arxiv url: http://arxiv.org/abs/2609.35065v1
• Date: Mon, 28 Sep 2026 12:55:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-02 17:21:48.932467
• Title: TempoKV: Timely Staging of LLM KV Caches for Memory-Semantic Flash
• Title（参考訳）: TempoKV: メモリセマンティックフラッシュのためのLDM KVキャッシュのタイムスタンディング
• Abstract要約: 再利用可能なキーバリューキャッシュは、大きな言語モデル(LLM)でGPUメモリを上回ることができる。 本稿では,TempoKVについて紹介する。 我々は、要求スケジューリングを変更することなくSSDベースのCXLメモリデバイス上で、vLLMとLMCacheにTempoKVを実装した。
• 参考スコア（独自算出の注目度）: 5.6906397069670644
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Reusable prefix key-value (KV) caches can outgrow GPU memory in large language model (LLM) serving. A memory-semantic flash hierarchy offers SSD-backed capacity with a limited fast tier, but a logical KV hit is not necessarily ready for GPU retrieval. Demand staging exposes SSD latency, whereas immediate staging can reserve fast-tier capacity long before retrieval begins. We present TempoKV, a timing-aware resource-commitment layer that separates early knowledge of reuse from the acquisition of staging resources. It records reusable-KV hits as metadata-only claims and requests commitment when the runtime-estimated time until retrieval falls to the storage-estimated time needed to make KV resident and protected against eviction. These estimates adapt to runtime progress and staging state, while commitment remains subject to available protected capacity. We implement TempoKV in vLLM and LMCache on an SSD-backed CXL memory device without changing request scheduling. Across two models and three prefix cache ratios, TempoKV reduces protected fast-tier byte-time per request by 63-91% versus immediate staging while retaining much of the serving benefit of advance staging. In a fast-tier capacity sweep, output throughput and p95 time to first token (TTFT) remain nearly unchanged as capacity decreases from 100 to 25 GiB. Compared with unmodified LMCache's Device-DAX L1 configuration, TempoKV reduces p95 TTFT by up to 48.0% and increases output throughput by up to 27.8%.
• Abstract（参考訳）: 再利用可能なプレフィックスキー値(KV)キャッシュは、大きな言語モデル(LLM)でGPUメモリを上回ることができる。 メモリセマンティックフラッシュ階層はSSDがバックアップする容量を制限された高速層で提供するが、論理的なKVヒットはGPU検索の準備ができていない。 デマンドステージングはSSDレイテンシを公開するが、即時ステージングは検索開始前に高速層キャパシティを予約することができる。 本稿では,再資源獲得から再利用の早期知識を分離するタイミング対応型リソース消費層であるTempoKVを紹介する。 再利用可能な-KVヒットをメタデータのみのクレームとして記録し、検索が終了するまでのランタイム推定時間が、KVを常駐させ、排除から保護するために必要なストレージ推定時間に達するまで要求する。 これらの見積もりは実行時の進捗とステージング状態に適応するが、コミットメントは引き続き利用可能な保護された能力の対象となる。 我々は、要求スケジューリングを変更することなくSSDベースのCXLメモリデバイス上で、vLLMとLMCacheにTempoKVを実装した。 2つのモデルと3つのプレフィックスキャッシュ比で、TempoKVは、プログレッシブステージングの利点の多くを保持しながら、要求毎の高速なバイトタイムを63-91%削減する。 高速なキャパシティスイープでは、100ギガバイトから25ギガバイトまでのキャパシティが減少するにつれて、出力スループットと最初のトークン(TTFT)までのp95時間はほぼ変化しない。 未修正のLMCacheのDevice-DAX L1構成と比較すると、TempoKVはp95 TTFTを最大48.0%削減し、出力スループットを最大27.8%向上させる。

関連論文リスト

• TierKV: Long-Context On-Device LLMs via Predictive Multi-Tier KV Caching [17.21633617033978]
  TierKVは、予測的マルチティアキャッシュ最適化に基づいて構築されたモバイルLLM推論フレームワークである。 既存のモバイルLLMフレームワークよりも最大17.6倍のスループット向上を実現している。 これによりRAM常駐のKVキャッシュが12.5-34%削減され、同じメモリ予算でコンテキストが大幅に長くなる。
  論文  参考訳（メタデータ） (2026-09-18T00:36:05Z)
• Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
  py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。 80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。 GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
  論文  参考訳（メタデータ） (2026-09-10T16:00:35Z)
• Strong Drafts Need Compact Memories: Long-Context Speculative Decoding with Compressed KV Cache [9.619930280504603]
  長文文書要約アプリケーションは、数万のトークンにまたがるプレフィックスから生成する必要がある。 投機的復号(SD)は、モデル出力を変更することなくレイテンシを低減するが、そのスピードアップは受け入れられたドラフトトークンとドラフトステップの遅延の両方に依存する。 長文SDのためのメモリ拡張ドラフトを導入し、圧縮されたドラフトサイドKVメモリを備えた強力な独立したドラフトを実装した。
  論文  参考訳（メタデータ） (2026-08-31T05:03:30Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
  Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。 このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。 FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
  論文  参考訳（メタデータ） (2026-06-08T06:25:54Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• FastKV: KV Cache Compression for Fast Long-Context Processing with Token-Selective Propagation [14.33163594016033]
  大規模言語モデル(LLM)は、かなりのプリフィル計算とキー値(KV)キャッシュを必要とする。 KVキャッシュをプレフィルアクセラレーションで圧縮する最近の作業は、このコストを低減しているが、誤ってプリフィル計算の削減をデコードKV予算に結び付ける。 FastKVはKVキャッシュ圧縮フレームワークで、プリフィルとデコードの両方の遅延を減らし、後のレイヤでのトークンの重要性の安定化を活用する。
  論文  参考訳（メタデータ） (2025-02-03T05:25:09Z)
• Compute Or Load KV Cache? Why Not Both? [6.982874528357836]
  Cakeは計算資源とI/Oリソースを並列に最適に利用する新しいKVキャッシュローディングシステムである。 Cakeは、計算のみの手法やI/Oのみの手法と比較して、TTFT(Time to First Token)の平均2.6倍の削減を実現している。
  論文  参考訳（メタデータ） (2024-10-04T01:11:09Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。