論文の概要: Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving

• arxiv url: http://arxiv.org/abs/2610.30791v1
• Date: Thu, 22 Oct 2026 06:10:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.233248
• Title: Gandalf: Flash Shall Not Die! Increasing Flash Storage Lifetime for KV Cache Offloading in LLM Serving
• Title（参考訳）: Gandalf氏: Flash Shall not die! LLM ServingにおけるKVキャッシュオフロードのためのFlashストレージのライフタイムの増加
• Abstract要約: 本稿では,SSDのライフサイクルを意識した最初のKVキャッシュオフロードシステムであるGandalfを提案する。 GandalfはSSDの寿命を平均7.3倍に伸ばし、キャッシュヒットレートに無視できる影響を与えている。 設計は、HBF(High Bandwidth Flash)など、他のフラッシュベースのストレージにも拡張できる。
• 参考スコア（独自算出の注目度）: 6.731643749111439
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: KV caching reduces the serving cost of large language models (LLMs), but the growing KV cache footprint is increasingly exceeds GPU and host-memory capacity. Therefore, people use SSD to expand the KV cache storage capacity with high I/O bandwidth. However, in production LLM workload, such as multi-round conversation and LLM agents, the total amount of KV cache writes significantly exceeds SSD capacity, shortening SSD lifetime from years to months. To improve SSD lifetime, a natural solution is to reduce the KV cache writes by gating the KV cache writes via historical access patterns. However, that significantly lowers the KV cache hit rate (and increase the LLM serving cost) since KV caches from different attention types might have identical historical access pattern but different future access patterns. Our insight is that, to reduce KV cache writes without hurting KV cache hit rate, one need to not only consider the access pattern, but also application-level information such as the attention type of KV cache. Leveraging this observation, we propose Gandalf , the first SSD KV cache offloading system with SSD life time awareness. Gandalf prioritize the admission of full-attention KV cache into SSD over the cache generated by other types of attention, which significantly increases SSD lifetime without sacrificing cache hit rate. Our evaluation shows that Gandalf extends the SSD lifetime by 7.3X on average, while having negligible impact on cache hit rate across multiple workload traces and wide range of hardware capacity. Gandalf design can be extended to other flash-based storage, such as High Bandwidth Flash (HBF).
• Abstract（参考訳）: KVキャッシュは、大規模言語モデル(LLM)のサービスコストを削減するが、KVキャッシュフットプリントの増加はGPUとホストメモリ容量をはるかに超えている。 したがって、SSDを使用して、高いI/O帯域幅でKVキャッシュストレージ容量を拡大する。 しかし、マルチラウンドの会話やLDMエージェントのようなプロダクションLLMのワークロードでは、KVキャッシュの書き込み量はSSDの容量をはるかに上回り、SSDの寿命を何年にもわたって短縮する。 SSDの寿命を改善するために、KVキャッシュの書き込みを履歴アクセスパターンを通じてゲーティングすることで、KVキャッシュの書き込みを減らすという自然な解決策がある。 しかし、異なる注意型からのKVキャッシュは、同じ履歴アクセスパターンを持つが、将来のアクセスパターンが異なるため、KVキャッシュのヒット率を大幅に低下させる(そして、LLMのサービスコストを増加させる)。 我々の洞察では、KVキャッシュのヒット率を損なうことなくKVキャッシュの書き込みを減らすためには、アクセスパターンだけでなく、KVキャッシュのアテンションタイプのようなアプリケーションレベルの情報も考慮する必要がある。 本研究は, SSD 寿命を意識した最初の SSD KV キャッシュオフロードシステムである Gandalf を提案する。 Gandalf氏は、他のタイプの注意によって生成されたキャッシュよりも、フルアテンションKVキャッシュのSSDへの受け入れを優先しており、キャッシュヒット率を犠牲にすることなくSSD寿命を大幅に向上させる。 評価の結果、GandalfはSSDの寿命を平均7.3倍に伸ばす一方で、複数のワークロードトレースにわたるキャッシュヒット率や幅広いハードウェア容量に悪影響を及ぼすことが示された。 ガンダルフの設計は、HBF(High Bandwidth Flash)など他のフラッシュベースのストレージにも拡張できる。

関連論文リスト

• AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving [24.3795571741572]
  大規模言語モデル(LLM)アプリケーションは、チャット履歴やドキュメントなど、以前処理されたコンテキストをしばしば再利用する。 既存のLLMサービスシステムは、処理されたコンテキストのKVキャッシュを格納し、新しい要求がコンテキストを再利用するときに対応するKVキャッシュをロードすることで、そのような冗長な計算に対処する。
  論文  参考訳（メタデータ） (2025-08-28T00:46:51Z)
• LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
  LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。 LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
  論文  参考訳（メタデータ） (2025-07-14T19:09:57Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration [7.463830743649754]
  VLM(Vision-Language Models)は、多目的なタスクセットにまたがる印象的なパフォーマンスを実証している。 キーバリュー(KV)キャッシュは、画像やビデオなどの長い視覚的コンテキストをエンコードする。 既存のKVキャッシュ圧縮手法は大規模言語モデル(LLM)に有効である VLM推論の高速化に適した新しいKVキャッシュ圧縮レシピを提案する。
  論文  参考訳（メタデータ） (2024-10-29T20:04:34Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion [15.344568214955688]
  大規模な言語モデル(LLM)は、必要なコンテキストを提供するために、入力に複数のテキストチャンクを組み込むことが多い。 長いLLM入力のプリフィルを高速化するため、別のLLM入力のプレフィックスとしてコンテキストが再利用された場合、テキストのKVキャッシュをプリコンプリートし、KVキャッシュを再使用することができる。 本稿では,KVキャッシュを高速に組み合わせて,高価なプリフィルと同世代の品質を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:00:17Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。