論文の概要: FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
- arxiv url: http://arxiv.org/abs/2611.07542v1
- Date: Thu, 05 Nov 2026 06:50:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 21:50:50.573639
- Title: FlashOffloading: Low-Latency KV Cache Offloading for Long-Context LLM Serving
- Title（参考訳）: FlashOffloading: 長期LLMサービングのための低レイテンシKVキャッシュのオフロード
- Abstract要約: FlashOffloadingは、プリフィルとデコードのためのローリングキャッシュ、ミスアップオーバーヘッドがゼロのリバースインデックス、計算負荷カーネルが重複している。
FlashOffは、30msのTPOT制約の下で、プリフィルスループットを最大1.38(times)、スループットを最大1.91(times)改善する。
- 参考スコア（独自算出の注目度）: 23.411100148429156
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In large language model (LLM) serving systems, the key-value (KV) cache grows linearly with sequence length and concurrency, so long-context inference easily hits the high-bandwidth memory (HBM) capacity wall and results in low concurrency. Offloading the KV cache to host dynamic random-access memory (DRAM) frees HBM space and raises concurrency, but the additional cache management and host-to-device (H2D) load overhead inflates inference latency, higher concurrency fails to translate into effective throughput. We present FlashOffloading, a host-DRAM-centric inference architecture that fully offloads the KV cache in both the prefill and decode phases. FlashOffloading builds rolling HBM cache for prefill, a hot cache for decode, a reverse sparse index with zero extra miss-lookup overhead, and a compute--load overlapped kernel, optimizing KV offloading latency across the entire pipeline and delivering throughput gains under a time-per-output-token (TPOT) service-level objective (SLO). In experiments deploying GLM-5.2 with multi-token prediction (MTP3) speculative decoding on an Ascend910C prefill--decode (PD)-disaggregated platform, FlashOffloading improves prefill throughput by up to 1.38\(\times\) and decode throughput by up to 1.91\(\times\) under a 30 ms TPOT constraint. FlashOffloading is integrated into an open-source serving framework: https://github.com/vllm-project/vllm-ascend/tree/releases/v0.30.0.
- Abstract（参考訳）: 大規模言語モデル(LLM)サービスシステムでは、キー値(KV)キャッシュはシーケンス長と並行性とともに線形に増加し、長文推論は高帯域メモリ(HBM)のキャパシティウォールに容易に到達し、低並行性をもたらす。
動的ランダムアクセスメモリ(DRAM)にKVキャッシュをオフロードすると、HBMスペースが解放され、並列性が向上するが、追加のキャッシュ管理とH2Dロードのオーバーヘッドは、推論遅延を膨らませる。
我々は、FlashOffloadingを紹介します。FlashOffloadingは、ホストDRAM中心の推論アーキテクチャで、プリフィルとデコードの両方のフェーズでKVキャッシュを完全にオフロードします。
FlashOffloading build rolling HBM cache for prefill, a hot cache for decode, a reverse sparse index with zero extra miss-lookup overhead, and a compute-loaded kernel, optimize KV offloading latency across the pipeline and deliver throughput gains under a time-per-output-token (TPOT) service-level objective (SLO)。
マルチトークン予測 (MTP3) による GLM-5.2 のデプロイ実験では、Ascend910C のプリフィル-デコード (PD)-非アグリゲートプラットフォーム上での投機的デコードにより、FlashOffloading はプリフィルスループットを最大 1.38\ (\times\) で改善し、最大 1.91\ (\times\) のスループットを30ms TPOT制約の下でデコードする。
FlashOffloading は https://github.com/vllm-project/vllm-ascend/tree/releases/v0.30.0 というオープンソースのサービスフレームワークに統合されている。
関連論文リスト
- Flash-dLLM: IO-Aware KV Caching and Parallel Decoding for Fast, Memory-Efficient Diffusion LLMs [36.94369617373333]
Flash-dLLMは、高速でメモリ効率の良いdLLMのためのトレーニング不要な推論アクセラレーションフレームワークである。
Flash-dLLMは、KVキャッシュ対応のdLLM推論において、GPUメモリI/Oが主要なボトルネックであると認識している。
この最適化されたキャッシュメカニズムに基づいて、Flash-dLLMは効率的なKVキャッシュ駆動のドラフト・アンド・バリデーション・デコーディング戦略を提案する。
論文 参考訳（メタデータ） (2026-09-22T17:59:57Z) - Building py-kvcache: A Performance Characterization of External KV Caching for vLLM with NVMe SSDs [0.22940141855172033]
py-kvcacheはvLLM KV Offloadコネクタで、非同期ダイレクトI/O、バウンド共有ステージング、スケジューラ対応プリロードを備えている。
80kのトークンでは、ディスクからのpy-kvcacheロードはLMCacheより2.0倍速く、プリロードは1.34倍である。
GPU、CPU、ディスクキャッシュを有効にすると、LMCacheより1.23倍高速で、ネイティブのvLLM KV Offload実装の約4%以内である。
論文 参考訳（メタデータ） (2026-09-10T16:00:35Z) - FlashMemory-DeepSeek-V4: Lightning Index Ultra-Long Context via Lookahead Sparse Attention [77.12062766962815]
Lookahead Sparse Attention (LSA)は、DeepSeek-V4アーキテクチャ上に構築されたNeural Memory Indexerを利用している。
このアーキテクチャをバックボーンフリーの非結合なトレーニング戦略でインスタンス化する。
FM-DS-V4は、物理KVキャッシュのフットプリントを、フルコンテキストベースラインのわずか13.5%まで圧縮することを示した。
論文 参考訳（メタデータ） (2026-06-08T06:25:54Z) - Multi-Head Low-Rank Attention [22.28455391125486]
MLA(Multi-Head Latent Attention)は、KVキャッシュの総サイズを大幅に削減する。
単一の遅延ヘッドはパーティショニングできないため、各デバイスはトークン毎に完全なKVキャッシュを冗長にロードせざるを得ない。
効率的な4方向TPデコーディングのための分割可能な潜在状態を実現するマルチヘッド低ランクアテンション(MLRA)を提案する。
論文 参考訳（メタデータ） (2026-03-02T18:52:38Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - CXL-SpecKV: A Disaggregated FPGA Speculative KV-Cache for Datacenter LLM Serving [5.216774377033164]
大規模言語モデル(LLM)は自然言語処理タスクに革命をもたらした。
LLMはキー値(KV)キャッシュの大規模なメモリ要求のため、課題に直面している。
我々は,新しい分散KV-cacheアーキテクチャである textbfCXL-SpecKV を提案する。
論文 参考訳（メタデータ） (2025-12-11T15:40:36Z) - KVNAND: Efficient On-Device Large Language Model Inference Using DRAM-Free In-Flash Computing [6.806071092599333]
エッジデバイス上の大規模言語モデル(LLM)は、強力なプライバシと低コストでパーソナライズされたエージェントを可能にする。
数十から数十億のパラメータを持つ単一バッチ自己回帰推論は、非常に低い算術強度に悩まされる。
近年のIn-flash Computing (IFC) ソリューションでは,デコードフェーズにおける重み関連線形計算とフラッシュとの併用により,このボトルネックを緩和している。
モデル重みとKVキャッシュを完全に計算可能な3D NANDフラッシュに格納する最初のDRAMフリーIFCベースのアーキテクチャであるKVNANDを提案する。
論文 参考訳（メタデータ） (2025-12-03T09:41:03Z) - LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。
LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
論文 参考訳（メタデータ） (2025-07-14T19:09:57Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。