論文の概要: Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
- arxiv url: http://arxiv.org/abs/2609.26828v1
- Date: Sun, 20 Sep 2026 22:40:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:17.687503
- Title: Bridging LLM Serving and CXL-SSDs with Chunk-Aware KV Cache Management
- Title（参考訳）: チャンク対応KVキャッシュ管理によるLCM実行とCXL-SSDのブリッジ化
- Abstract要約: LM-CXDは、どのKVチャンクが消費されるかを知るサーブエンジンと、その配置と移動を制御するデバイスの間のセマンティックギャップを橋渡しする。
KVはデバイス可視I/Oユニットをチャンクし、NAND-to-DRAMプログレスをサーブエンジンに公開し、GPUアクセス可能なバッファとしてデバイスDRAMを使用する。
- 参考スコア（独自算出の注目度）: 2.854912082642293
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: NAND-backed storage offers the capacity needed to scale LLM prefix caching, but its block I/O path incurs CPU cache contention and host-DRAM staging in addition to NAND latency. Our characterization shows that these interface costs persist even with DRAM as the storage medium, motivating CXL-SSDs for byte-addressable access to NAND-backed capacity. Surprisingly, however, a stock CXL-SSD remains about 3$\times$ slower than local DRAM and no faster than an NVMe SSD, while generic prefetching provides little benefit. We present LM-CXD, a CXL-SSD specialized for LLM prefix caching. LM-CXD bridges the semantic gap between the serving engine, which knows which KV chunks will be consumed, and the device, which controls their placement and movement. It makes KV chunks device-visible I/O units, exposes NAND-to-DRAM progress to the serving engine, and uses device DRAM as a GPU-accessible buffer. LM-CXD further coordinates request scheduling with windowed prefetching and pipelines layerwise KV movement with GPU computation to hide NAND latency under limited device DRAM. Across five LLM models, LM-CXD reduces average TTFT over a stock CXL-SSD by up to 2.6$\times$ with compute asynchronous prefetching and 4.03$\times$ with layerwise prefetching, achieving TTFT within 1.5$\times$ of local DRAM on average.
- Abstract（参考訳）: NANDバックアップストレージは、LLMプレフィックスキャッシュのスケールアップに必要な容量を提供するが、ブロックI/Oパスは、NANDレイテンシに加えて、CPUキャッシュ競合とホスト-DRAMステージングを引き起こす。
本稿では,DRAMをストレージ媒体として使用する場合でも,これらのインターフェースのコストが持続し,CXL-SSDのNAND対応容量へのバイトアドレナブルアクセスを動機付けていることを示す。
しかし驚くべきことに、標準のCXL-SSDはローカルDRAMよりも約3$\times$遅く、NVMe SSDよりは遅い。
LLMプレフィックスキャッシュに特化したCXL-SSDであるLM-CXDを提案する。
LM-CXDは、どのKVチャンクが消費されるかを知るサーブエンジンと、その配置と移動を制御するデバイスの間のセマンティックギャップを橋渡しする。
KVはデバイス可視I/Oユニットをチャンクし、NAND-to-DRAMプログレスをサーブエンジンに公開し、GPUアクセス可能なバッファとしてデバイスDRAMを使用する。
LM-CXDはさらに、要求スケジューリングをウィンドウ化されたプリフェッチとパイプラインで調整し、GPU計算で階層的にKVの動きを処理し、限られたデバイスDRAMの下でNANDレイテンシを隠蔽する。
5つのLCMモデルで、LM-CXDは標準のCXL-SSD上で平均TTFTを最大2.6$\times$で計算非同期プリフェッチと4.03$\times$で削減し、平均1.5$\times$でTTFTを達成する。
関連論文リスト
- LLM Inference in a Flash! [66.43896490006965]
大規模言語モデル(LLM)は、さまざまな自然言語処理タスクで印象的な機能を示している。
我々は、高価な浮動小数点演算をなくすために、エンドツーエンドの整数のみの量子化手法を提案する。
論文 参考訳（メタデータ） (2026-09-14T18:04:30Z) - DUAL-BLADE: Dual-Path NVMe-Direct KV-Cache Offloading for Edge LLM Inference [6.147640298081776]
キーバリュー(KV)キャッシュは、しばしば利用可能なデバイスメモリを超える。
本稿では、KVテンソルをページキャッシュパスまたはDMAダイレクトパスに動的に割り当てるデュアルパスKV在留フレームワークであるカーネルBLADEを提案する。
推論-BLADEは、それぞれ33.1%と42.4%の遅延をプリフィルとデコードするボトルネックを実質的に緩和する。
論文 参考訳（メタデータ） (2026-04-29T11:44:35Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳（メタデータ） (2026-02-02T13:52:40Z) - Sangam: Chiplet-Based DRAM-PIM Accelerator with CXL Integration for LLM Inferencing [2.9665163298601342]
推論、特にデコードフェーズは、メモリバウンドGEMVまたはフラットGEMM操作によって支配される。
既存のインメモリソリューションは、メモリ容量の削減などの限界に直面している。
この作業は、これらの制限に対処するチップレットベースのメモリモジュールを提供する。
論文 参考訳（メタデータ） (2025-11-15T16:39:51Z) - Kelle: Co-design KV Caching and eDRAM for Efficient LLM Serving in Edge Computing [9.984481065465028]
エッジデバイス上の大規模言語モデル(LLM)は、レイテンシの低減、リアルタイム処理の改善、プライバシの向上に不可欠である。
エッジデバイスにLLMを実装することは、特にキーバリューキャッシュの管理において、課題となる。
エッジデバイスにおけるLLMのプライマリストレージとしてeDRAMを提案する。
論文 参考訳（メタデータ） (2025-10-16T07:12:08Z) - Sparse-dLLM: Accelerating Diffusion LLMs with Dynamic Cache Eviction [72.27673320976933]
Diffusion Large Language Models (dLLMs) は推論と並列デコードにおけるブレークスルーを可能にする。
現在のキャッシュ技術は、フルレイヤ状態を保存することでデコーディングを加速するが、メモリ使用量を大幅に増加させる。
Sparse-dLLMは、動的キャッシュ消去とスパースアテンションを統合した最初のトレーニングフリーフレームワークである。
論文 参考訳（メタデータ） (2025-08-04T16:14:03Z) - LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。
LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
論文 参考訳（メタデータ） (2025-07-14T19:09:57Z) - Harnessing Your DRAM and SSD for Sustainable and Accessible LLM Inference with Mixed-Precision and Multi-level Caching [35.83447642182576]
大規模言語モデル(LLM)は目覚ましい能力を示している。
LLMの展開は、現在のAIアプリケーションから排出される二酸化炭素の主要な部分である。
本稿では,古いハードウェア上でのLCM推論を可能にするモデルモジュール化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-10-17T08:33:39Z) - vTensor: Flexible Virtual Tensor Management for Efficient LLM Serving [53.972175896814505]
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
大規模言語モデル(LLM)は様々なドメインで広く使われ、数百万の日次要求を処理する。
論文 参考訳（メタデータ） (2024-07-22T14:37:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。