論文の概要: TideKV: Delayed KV Eviction via Layer-Wise Chunked Prefill for Memory-Efficient Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2610.24499v1
• Date: Sat, 17 Oct 2026 06:44:27 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:59:59.568161
• Title: TideKV: Delayed KV Eviction via Layer-Wise Chunked Prefill for Memory-Efficient Long-Context LLM Inference
• Title（参考訳）: TideKV: メモリ効率の長いLLM推論のためのレイヤワイズチャンク前処理による遅延KV推定
• Abstract要約: Long-context Large Language Model (LLM)推論は、現代のインテリジェントアプリケーションにとって重要である。 既存のKVキャッシュ圧縮はメモリのデコードを減らすが、一般的にグローバルなコンテキストを保存するためにはフルプロンプトプリフィルが必要である。 層長遅延消去を用いたGPU上のキャッシュ構成アーキテクチャであるTideKVを提案する。
• 参考スコア（独自算出の注目度）: 12.741578568838962
• License:
• Abstract: Long-context large language model (LLM) inference is important for modern intelligent applications but remains constrained by peak memory during prompt prefill. Existing KV cache compression reduces decoding memory but typically requires full-prompt prefill to preserve global context, retaining a high construction peak. Online chunk-level eviction lowers memory earlier but selects before each layer has observed the complete prompt, potentially degrading cache construction and decoding. We present TideKV, an on-GPU cache-construction architecture using layer-major delayed eviction. TideKV processes all prompt chunks within each Transformer layer, retains full-prompt KV only for the active layer, and evicts at layer end. This schedule preserves full-prompt-aware selection while reducing activation and temporary memory. Experiments across multiple computing platforms show that TideKV preserves the inference quality and final cache size of the evaluated compression methods. At 64K on A100, it reduces the construction-time transient footprint by 83.89%. On RTX 4090, it increases time to first token by only 1.06% at 64K and enables 128K prefill. TideKV also completes 128K on Jetson, whereas matched post-prefill compression runs out of memory on both resource-constrained platforms. These results show that delayed layer-end eviction substantially expands feasible context lengths without sacrificing cache utility.
• Abstract（参考訳）: Long-context Large Language Model (LLM) 推論は、現代のインテリジェントアプリケーションでは重要であるが、プロンプトプリフィル時にピークメモリによって制約される。 既存のKVキャッシュ圧縮はメモリのデコードを減らすが、一般的にグローバルなコンテキストを維持するためにはフルプロンプトのプリフィルが必要である。 オンラインのチャンクレベルの消去は、メモリを早く下げるが、各レイヤが完全なプロンプトを観察する前に選択し、キャッシュの構成とデコードが劣化する可能性がある。 層長遅延消去を用いたGPU上のキャッシュ構成アーキテクチャであるTideKVを提案する。 TideKVはトランスフォーマー層内のすべてのプロンプトチャンクを処理し、アクティブ層のみにフルプロンプトKVを保持、そして層端に退避させる。 このスケジュールは、アクティベーションと一時的なメモリを削減しつつ、フルプロンプト対応の選択を保存する。 複数のコンピューティングプラットフォームにわたる実験により、TideKVは評価された圧縮手法の推論品質と最終的なキャッシュサイズを保っていることが示された。 A100上の64Kでは、建設時間の過渡的なフットプリントを83.89%削減する。 RTX 4090では、64Kで最初のトークンを1.06%だけ増加させ、128Kのプリフィルを可能にする。 また、TideKVはJetson上で128Kを完了している。 これらの結果から,遅延層境界はキャッシュを犠牲にすることなく,実現可能なコンテキスト長を大幅に拡大することが示された。

関連論文リスト

• SeKV: Resolution-Adaptive KV Cache with Hierarchical Semantic Memory for Long-Context LLM Inference [37.37437232987781]
  SeKVは、コンテキストをエントロピー誘導セマンティックスパンに整理する、解像度適応型セマンティックKVキャッシュである。 本研究では,SeKVが最強のセマンティック圧縮ベースラインよりも平均5.9%向上していることを示す。 128KコンテキストでのフルKVキャッシュに対して、GPUメモリを53.3%削減する。
  論文  参考訳（メタデータ） (2026-06-30T05:18:02Z)
• MuKV: Multi-Grained KV Cache Compression for Long Streaming Video Question-Answering [75.0394545769057]
  KVキャッシュは、LLMプリフィルを介して歴史的なトークンのキーバリューを格納する。 MuKV は KV キャッシュ圧縮モジュールと半階層的検索手法を特徴とする手法である。 長時間ストリーミングのVideoQAベンチマークの実験では、MKVはメモリとオンラインQA効率を犠牲にすることなく、回答の正確性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2026-05-21T10:13:03Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• RDKV: Rate-Distortion Bit Allocation for Joint Eviction and Quantization of the KV Cache [28.54642982960947]
  大規模言語モデル(LLM)は様々なタスクにまたがって高い性能を示すが、長い入力コンテキストでの推論はメモリサイズと帯域幅によってボトルネックとなる。 既存のメソッドは、消去または量子化によってキャッシュを減らすが、通常は2つを分離して扱う。 本稿では、KVキャッシュ圧縮をレート歪み問題とみなし、同じビット割り当て方式の2つの端点の消去と量子化を行う。
  論文  参考訳（メタデータ） (2026-05-08T15:15:06Z)
• EVICPRESS: Joint KV-Cache Compression and Eviction for Efficient LLM Serving [27.616284276071855]
  KVキャッシュの再利用はLarge Language Model(LLM)推論システムの高効率化に不可欠である。 以前の作業では、KVキャッシュを低層ストレージデバイスに解放するか、KVキャッシュを圧縮して、より多くのKVキャッシュを高速メモリに適合させることが提案されていた。 複数のストレージ層にまたがるKVキャッシュに損失圧縮と適応消去を適用したKVキャッシュ管理システムEVICPRESSを提案する。
  論文  参考訳（メタデータ） (2025-12-16T22:21:55Z)
• TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization [21.229296254354878]
  生成型大規模言語モデル(LLM)におけるキーバリューキャッシュは、かなりのメモリオーバーヘッドをもたらす。 既存の作業は、KVキャッシュをオフロードまたは圧縮することで、この負担を軽減する。 本稿では,量子化とオフロードをシームレスに統合するハイブリッド圧縮手法であるTailorKVを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:00:04Z)
• ChunkKV: Semantic-Preserving KV Cache Compression for Efficient Long-Context LLM Inference [61.412894960600205]
  大きな言語モデル(LLM)は、長いテキストを処理する際に大きなGPUメモリを必要とする。 ChunkKVは、セマンティックチャンクを基本的な圧縮単位として扱うことで、KVキャッシュ圧縮を再定義する。 結果: ChunkKVは最先端の手法を最大8.7%精度で上回る。
  論文  参考訳（メタデータ） (2025-02-01T03:49:47Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)
• Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
  我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。 既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。 本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。