論文の概要: AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving

• arxiv url: http://arxiv.org/abs/2509.00105v1
• Date: Thu, 28 Aug 2025 00:46:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-06 05:29:07.728148
• Title: AdaptCache: KV Cache Native Storage Hierarchy for Low-Delay and High-Quality Language Model Serving
• Title（参考訳）: AdaptCache: 低遅延かつ高品質な言語モデルサービングのためのKVキャッシュネイティブストレージ階層
• Authors: Shaoting Feng, Hanchen Li, Kuntai Du, Zhuohan Gu, Yuhan Liu, Jiayi Yao, Siddhant Ray, Samuel Shen, Yihua Cheng, Ganesh Ananthanarayanan, Junchen Jiang,
• Abstract要約: 大規模言語モデル(LLM)アプリケーションは、チャット履歴やドキュメントなど、以前処理されたコンテキストをしばしば再利用する。 既存のLLMサービスシステムは、処理されたコンテキストのKVキャッシュを格納し、新しい要求がコンテキストを再利用するときに対応するKVキャッシュをロードすることで、そのような冗長な計算に対処する。
• 参考スコア（独自算出の注目度）: 24.3795571741572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) applications often reuse previously processed context, such as chat history and documents, which introduces significant redundant computation. Existing LLM serving systems address such redundant computation by storing the KV caches of processed context and loading the corresponding KV cache when a new request reuses the context. Further, as these LLM applications scale, the total size of KV caches becomes excessively large and requires both DRAM and SSD for full storage. However, prior work that stores KV caches in DRAM and SSD suffers from high loading delays, as most KV cache hits come from SSD, which is slow to load. To increase the KV cache hit rate on DRAM, we identify lossy KV cache compression as a promising approach. We design a lossy compression system that decides the compression algorithm, compression rate and device placement for each KV cache entry to maximise DRAM hits and minimise loading delay without significantly degrading generation quality. Compared to various static compression baselines across three tasks, our system AdaptCache achieves 1.43--2.4 x delay savings at the same quality and 6--55% quality improvements at the same delay.
• Abstract（参考訳）: 大規模言語モデル(LLM)アプリケーションは、チャット履歴やドキュメントなど、以前処理されたコンテキストを再利用することが多い。 既存のLLMサービスシステムは、処理されたコンテキストのKVキャッシュを格納し、新しい要求がコンテキストを再利用するときに対応するKVキャッシュをロードすることで、そのような冗長な計算に対処する。 さらに、これらのLLMアプリケーションがスケールするにつれて、KVキャッシュの総サイズは過大に大きくなり、フルストレージにはDRAMとSSDの両方を必要とする。 しかし、DRAMとSSDにKVキャッシュを格納する以前の作業は、ほとんどのKVキャッシュがSSDから来ているため、負荷の遅れに悩まされている。 DRAMにおけるKVキャッシュのヒット率を高めるために、損失のあるKVキャッシュ圧縮を有望なアプローチとして同定する。 我々は、各KVキャッシュエントリに対する圧縮アルゴリズム、圧縮率、デバイス配置を決定する損失圧縮システムを設計し、DRAMヒットを最大化し、生成品質を著しく劣化させることなく、負荷遅延を最小化する。 3つのタスクにわたる様々な静的圧縮ベースラインと比較して、当社のシステムAdaptCacheは、同じ品質で1.43～2.4倍の遅延削減、同じ遅延で6～55%の品質改善を実現しています。

関連論文リスト

• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving [27.616284276071855]
  KVキャッシュの再利用はLarge Language Model(LLM)推論システムの高効率化に不可欠である。 以前の作業では、KVキャッシュを低層ストレージデバイスに解放するか、KVキャッシュを圧縮して、より多くのKVキャッシュを高速メモリに適合させることが提案されていた。 複数のストレージ層にまたがるKVキャッシュに損失圧縮と適応消去を適用したKVキャッシュ管理システムEVICPRESSを提案する。
  論文  参考訳（メタデータ） (2025-12-16T22:21:55Z)
• DynaKV: Enabling Accurate and Efficient Long-Sequence LLM Decoding on Smartphones [10.813495376006427]
  大規模言語モデル(LLM)は、効率的で効果的な長シーケンスデコードをサポートすることがますます期待されている。 DRAM容量が限られているため、スマートフォン上でのLLM復号化はキー値キャッシュ(KVCache)によって制限される。 我々はDynaKVを提案する。DynaKVはスマートフォン上での長時間デコードにおける精度と効率を両立させる最初の適応KVキャッシュ管理手法である。
  論文  参考訳（メタデータ） (2025-10-20T08:56:02Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• SpeCache: Speculative Key-Value Caching for Efficient Generation of LLMs [44.41154292836592]
  我々は,完全なKVキャッシュをオフロードし,各デコードステップでKVペアを動的にフェッチするSpeCacheを提案する。 LongBenchとNeedle-in-a-Haystackベンチマークの実験では、SpeCacheがVRAMの使用を効果的に削減していることが確認されている。
  論文  参考訳（メタデータ） (2025-03-20T14:01:56Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• Lossless KV Cache Compression to 2% [22.98828332096935]
  この研究は、KVキャッシュを元のサイズの2%未満に圧縮することを目的とした、新しいアーキテクチャであるCLLA(Cross-Layer Latent Attention)を導入している。 CLLAは、アテンションヘッド/ディメンション低減、レイヤ共有、量子化技術を結合的なフレームワークに統合する。
  論文  参考訳（メタデータ） (2024-10-20T02:17:35Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)
• CacheGen: KV Cache Compression and Streaming for Fast Large Language Model Serving [31.766738294505767]
  CacheGenは、大きな言語モデルのための高速なコンテキストローディングモジュールである。 カスタムテンソルエンコーダを使用して、KVキャッシュをコンパクトなビットストリーム表現にエンコードする。 KVキャッシュの異なる部分の圧縮レベルを適用して、利用可能な帯域幅の変化に対処する。
  論文  参考訳（メタデータ） (2023-10-11T07:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。