論文の概要: KVGuard: A KV Cache Safety Checker for LLM Serving Systems
- arxiv url: http://arxiv.org/abs/2611.06138v1
- Date: Wed, 04 Nov 2026 08:22:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 03:25:58.025738
- Title: KVGuard: A KV Cache Safety Checker for LLM Serving Systems
- Title（参考訳）: KVGuard: LLMサービングシステムのためのKVキャッシュセーフティチェッカ
- Abstract要約: 現代のLLMサービスシステムは、カスタムGPUアロケータであるPagedAttentionを通じてKVキャッシュを管理する。
本稿では,LLMサービスシステムにおけるKVキャッシュ管理のための,最初のシステマティックメモリセーフティ抽象化であるKVGuardについて述べる。
- 参考スコア（独自算出の注目度）: 7.070321506487641
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern LLM serving systems manage the KV cache through PagedAttention, a custom GPU allocator that partitions a single CUDA-allocated region into fixed-size physical blocks and maps each request to those blocks through a CPU-built block table. This block-based design exposes a previously unstudied class of memory safety bugs in the KV cache, including double-free, use-after-free, out-of-bounds access, uninitialized read, and permission violation, which silently corrupt outputs or break request isolation without ever crashing the system. Existing memory sanitizers cannot detect them, because they reason about CUDA-level addresses rather than KV cache blocks, requests, and block tables, and their redzone- and quarantine-based designs do not fit the scarce GPU memory budget of LLM serving. This paper presents KVGuard, the first systematic memory-safety abstraction for KV cache management in LLM serving systems. KVGuard maintains a compact shadow block for each physical KV block, recording per-request permission and per-entry initialization, and uses this metadata to perform five safety checks across the PagedAttention workflow, spanning CPU allocation, block table construction and translation, and GPU-side block table lookup and KV entry access. Each check fires at the boundary that introduced the violation, enabling early detection during development rather than reporting downstream output corruption many requests later. A prototype of KVGuard on vLLM and SGLang covers all 29 historical real-world KV cache safety bugs collected from the two systems' patch histories. KVGuard further found 8 previously unknown safety violations while reporting no false positives. It adds 3.0% and 7.4% geomean TPOT overhead on Qwen 2.5 14B on vLLM and SGLang and at most 0.11% of the KV cache in memory overhead, two orders of magnitude below NVIDIA Compute Sanitizer on the same workloads.
- Abstract（参考訳）: 最新のLLMサービスシステムは、PagedAttentionを通じてKVキャッシュを管理する。これは、単一のCUDA割り当てされたリージョンを固定サイズの物理ブロックに分割し、各リクエストをCPUで構築されたブロックテーブルを介してこれらのブロックにマップするカスタムGPUアロケータである。
このブロックベースの設計では、二重自由、使用後フリー、アウト・オブ・バウンドアクセス、未初期化読み取り、パーミッション違反など、KVキャッシュの未調査クラスのメモリ安全性のバグが露呈する。
既存のメモリサニタイザは、KVキャッシュブロック、リクエスト、ブロックテーブルではなくCUDAレベルのアドレスを理由付けているため、検出できない。
本稿では,LLMサービスシステムにおけるKVキャッシュ管理のための,最初のシステマティックメモリセーフティ抽象化であるKVGuardについて述べる。
KVGuardは、物理KVブロック毎にコンパクトなシャドウブロックを保持し、リクエスト毎のパーミッションとエントリ毎の初期化を記録し、このメタデータを使用して、CPU割り当て、ブロックテーブルの構築と変換、GPUサイドのブロックテーブルルックアップとKVエントリアクセスをまたがる5つの安全チェックを実行する。
各チェックは、違反を導入したバウンダリに発火し、後に下流の出力の破損を報告するのではなく、開発中の早期検出を可能にする。
vLLMとSGLangのKVGuardのプロトタイプでは、2つのシステムのパッチ履歴から収集された29の歴史的KVキャッシュ安全性バグをカバーしている。
さらにKVGuardは、偽陽性を報告しながら、これまで知られていなかった8つの安全違反を発見した。
vLLMとSGLangのQwen 2.5 14Bでは、3.0%と7.4%のGeomean TPOTオーバーヘッドが、メモリオーバーヘッドではKVキャッシュの少なくとも0.11%、同じワークロードではNVIDIA Compute Sanitizerより2桁低い。
関連論文リスト
- SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。
本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。
128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
論文 参考訳（メタデータ） (2026-06-30T05:18:02Z) - HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval [31.594043836825403]
拡散LDM(dLLM)は、フォワードパス毎に複数のトークンを生成することにより、自動回帰復号化によるGPU利用を改善する。
KVキャッシュは、コンテキストとともに線形に成長し、長いコンテキストでのスループットを制限する。
ブロックdLLMのためのKVオフロードシステムであるHERALDを提案する。
論文 参考訳（メタデータ） (2026-06-19T17:36:51Z) - FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - RedKnot: Efficient Long-Context LLM Serving with Head-Aware KV Reuse and SegPagedAttention [20.633983983180812]
LLMサービスのためのヘッドアウェアKVキャッシュ管理システムであるRedKnotを提案する。
RedKnotは、KVヘッドに沿ってKVキャッシュを分解することで、従来のモノリシックなKVキャッシュの抽象化を破る。
論文 参考訳（メタデータ） (2026-06-04T14:57:07Z) - CompactAttention: Accelerating Chunked Prefill with Block-Union KV Selection [13.937483869660648]
既存のスパースアテンションメソッドは、チャンクされたプリフィルに効率的に変換しない。
ブロック・ユニオンKV選択に基づくチャンクド・プレフィルアテンション機構であるCompactAttentionを提案する。
最大2.72$times$ attention speedup at 128K context length under chunked prefill。
論文 参考訳（メタデータ） (2026-05-16T06:47:41Z) - Unifying Sparse Attention with Hierarchical Memory for Scalable Long-Context LLM Serving [18.681651346752766]
動的スパースアテンションは、デコーディングステップ毎にKV状態の小さなクエリ依存サブセットだけにアクセスすることで緩和を約束する。
しかし実際には、これらのアルゴリズムによる貯蓄は、エンドツーエンドのシステムレベルのゲインにはほとんど変換されない。
本稿では,階層的なKVストレージで実行パイプラインを協調設計するスパースアテンション対応推論フレームワークSPINを提案する。
論文 参考訳（メタデータ） (2026-04-29T16:02:00Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - Quant VideoGen: Auto-Regressive Long Video Generation via 2-Bit KV-Cache Quantization [83.406036390582]
Quant VideoGen(QVG)は、自動回帰ビデオ拡散モデルのためのトレーニングフリーなKVキャッシュ量子化フレームワークである。
これにより、KVメモリを最大7.0倍に削減できる。
生成品質において、既存のベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-02-03T00:54:32Z) - PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。
提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。
Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
論文 参考訳（メタデータ） (2024-06-04T07:51:30Z) - Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。
我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。
認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
論文 参考訳（メタデータ） (2023-10-03T05:17:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。