論文の概要: PulseInfer: I/O-Centric Sparse KV Cache Offloading for Efficient Long-Context LLM Decoding

• arxiv url: http://arxiv.org/abs/2609.34555v1
• Date: Mon, 28 Sep 2026 08:12:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 12:30:59.581226
• Title: PulseInfer: I/O-Centric Sparse KV Cache Offloading for Efficient Long-Context LLM Decoding
• Title（参考訳）: PulseInfer: I/O-Centric Sparse KV Cache Offloading for Efficient Long-Context LLM Decoding
• Abstract要約: 本稿では,I/O中心のスパースKVキャッシュオフロードシステムであるPulseInferを提案する。 SGLangで4.7倍、既存のオフロードベースラインで2.6倍までデコードスループットを向上させる。
• 参考スコア（独自算出の注目度）: 29.230044901748695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Long-context LLM serving is increasingly bottlenecked by decode, where large KV caches limit batch size and underutilize GPUs. Sparse KV cache offloading expands effective capacity by storing most historical KV blocks in CPU DRAM and recalling only selected blocks on demand. However, we find that existing offloading systems shift the bottleneck to CPU-GPU recall I/O: recall volume varies widely across layers, decode steps and requests, while headwise sparse selection fragments recalls into many small PCIe transfers. This paper presents PulseInfer, an I/O-centric sparse KV cache offloading system. PulseInfer hides variable recall latency with interruptible layer-wise scheduling, adapts offloading decisions with IO-Adaptive Offloading Admission, and coalesces fragmented transfers using SoloHead sparse selection and a gather-scatter I/O engine. Implemented on SGLang, PulseInfer improves decode throughput by up to 4.7x over SGLang and 2.6x over the best existing offloading baseline, while reducing TPOT by up to 76% and preserving near-lossless accuracy.
• Abstract（参考訳）: 大きなKVキャッシュはバッチサイズを制限し、GPUを過小評価する。 スパースKVキャッシュオフロードは、CPU DRAMにほとんどの歴史的KVブロックを格納し、必要に応じて選択されたブロックのみをリコールすることによって、有効容量を拡大する。 しかし、既存のオフロードシステムはボトルネックをCPU-GPUリコールI/Oにシフトしていることがわかった。 本稿では,I/O中心のスパースKVキャッシュオフロードシステムであるPulseInferを提案する。 PulseInferは、割り込み可能なレイヤワイドスケジューリングで可変リコールレイテンシを隠蔽し、IO-Adaptive Offloading Admissionでオフロード決定を適応し、SoloHeadスパースセレクションと集合散乱I/Oエンジンを使用して断片化された転送を結合する。 SGLangで実装されたPulseInferは、SGLang上で最大4.7倍、既存のオフロードベースラインで2.6倍までデコードスループットを改善し、TPOTを最大76%削減し、ほぼロスレスな精度を保つ。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• HERALD: High-Throughput Block Diffusion LLM Serving via CPU-GPU Cooperative KV Cache Retrieval [31.594043836825403]
  拡散LDM(dLLM)は、フォワードパス毎に複数のトークンを生成することにより、自動回帰復号化によるGPU利用を改善する。 KVキャッシュは、コンテキストとともに線形に成長し、長いコンテキストでのスループットを制限する。 ブロックdLLMのためのKVオフロードシステムであるHERALDを提案する。
  論文  参考訳（メタデータ） (2026-06-19T17:36:51Z)
• KVDrive: A Holistic Multi-Tier KV Cache Management System for Long-Context LLM Inference [23.683284557561112]
  我々は、GPUメモリ、ホストDRAM、SSDにまたがる総合的なマルチ層KVキャッシュ管理システムであるKVDriveを紹介する。 KVDriveは、キャッシュ配置、パイプラインスケジューリング、階層間の調整を共同でオーケストレーションするシステムの観点から、この問題に取り組む。 このシステムは精度を保ちながら最先端の作業に比べて最大1.74倍のスループットを実現している。
  論文  参考訳（メタデータ） (2026-05-18T08:54:16Z)
• IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
  キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。 セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-04-12T09:02:20Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• ORBITFLOW: SLO-Aware Long-Context LLM Serving with Fine-Grained KV Cache Reconfiguration [1.2879848319971192]
  KVキャッシュをホストメモリにオフロードすることは、効果的なメモリ使用量を制限する。 本稿では,細粒度かつ適応的なKVキャッシュ管理システムORBITFLOWを紹介する。 実験の結果,ORBITFLOWはTPOTとTBTのSLO達成率を最大66%,TBTは48%向上した。
  論文  参考訳（メタデータ） (2026-01-05T04:02:34Z)
• SpeCache: Speculative Key-Value Caching for Efficient Generation of LLMs [44.41154292836592]
  我々は,完全なKVキャッシュをオフロードし,各デコードステップでKVペアを動的にフェッチするSpeCacheを提案する。 LongBenchとNeedle-in-a-Haystackベンチマークの実験では、SpeCacheがVRAMの使用を効果的に削減していることが確認されている。
  論文  参考訳（メタデータ） (2025-03-20T14:01:56Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。