論文の概要: DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference

• arxiv url: http://arxiv.org/abs/2608.08878v1
• Date: Sun, 09 Aug 2026 19:33:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.982899
• Title: DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
• Title（参考訳）: DistillCache: KL-Guided Adaptive KV-Cache Eviction for Memory-Efficient LLM Inference
• Abstract要約: トランスフォーマーベースの大規模言語モデル(LLM)は多くのタスクで高いパフォーマンスを達成するが、キーバリュー(KV)キャッシュはシーケンス長とともに線形に増大する。 逐次決定問題としてKV-cache消去を定式化する強化学習フレームワークであるDistillCacheを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Transformer-based large language models (LLMs) achieve strong performance across many tasks, but their Key-Value (KV) cache grows linearly with sequence length, creating a severe memory bottleneck for long-context inference. Existing heuristic eviction methods (e.g., H$_2$O and SnapKV) rely on static attention or positional signals that often fail to capture a token's future predictive influence. We propose DistillCache, a reinforcement learning framework that formulates KV-cache eviction as a sequential decision problem. DistillCache learns a lightweight policy network using rich internal model signals (attention statistics, value norms, entropy, and position) and trains it with REINFORCE via a per-step KL-divergence reward to preserve the full-cache output distribution. On a 7B-parameter instruction-tuned Transformer (Mistral-7B-Instruct-v0.3), DistillCache retains 94.2% of full-cache accuracy on LongBench at a 25% cache budget, outperforming both strong heuristic baselines (H$_2$O, SnapKV) by up to 2.7 absolute points and, under our re-implementations, concurrent RL-based methods (ForesightKV, RLKV) by up to 1.4 points on long-context tasks. On reasoning benchmarks, DistillCache is competitive with the best concurrent method and surpasses it under aggressive compression. It also delivers up to 2.1x full-cache throughput while maintaining competitive practical efficiency. These results highlight the effectiveness of learned, distribution-aware policies for memory-efficient long-context LLM inference.
• Abstract（参考訳）: トランスフォーマーベースの大規模言語モデル(LLM)は多くのタスクにわたって高いパフォーマンスを達成するが、キーバリュー(KV)キャッシュはシーケンス長とともに線形に増加し、長いコンテキスト推論のための深刻なメモリボトルネックを生み出す。 既存のヒューリスティック消去法(例えば、H$_2$O、SnapKV)は、トークンの将来の予測的影響を捉えるのにしばしば失敗する静的な注意または位置信号に依存している。 逐次決定問題としてKV-cache消去を定式化する強化学習フレームワークであるDistillCacheを提案する。 DistillCacheは、リッチな内部モデル信号(アテンション統計、値ノルム、エントロピー、位置)を使用して軽量なポリシーネットワークを学び、ステップごとのKL分割報酬を通じてREINFORCEでトレーニングし、フルキャッシュ出力分布を保存する。 7Bパラメータ命令調整変換器(Mistral-7B-Instruct-v0.3)では、DistillCacheは、25%のキャッシュ予算でLongBench上で94.2%のフルキャッシュ精度を保持し、強いヒューリスティックベースライン(H$_2$O, SnapKV)を最大2.7の絶対点で上回り、我々の再実装の下では、並行RLベースのメソッド(ForesightKV, RLKV)を最大1.4の長文タスクで実行します。 推論ベンチマークでは、DistillCacheは最高のコンカレントメソッドと競合し、アグレッシブな圧縮でそれを上回ります。 また、競争力のある実用効率を維持しながら、最大2.1倍のフルキャッシュスループットを提供する。 これらの結果は、メモリ効率の長いLLM推論における学習された分散対応ポリシーの有効性を浮き彫りにした。

関連論文リスト

• VisCache: Visual KV Cache Pruning for Efficient Vision Large Language Model Inference [17.932004205808486]
  VisCacheは、トレーニングなしで大きめのtextbfVisual KV textbfCacheプルーニングを行うためのフレームワークである。 PruneKVは、Vision Large Language Modelsの注意力学に合わせて設計された、外科的KV圧縮アルゴリズムである。 VisCacheは、既存のベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-08-25T04:52:05Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• CompressKV: Semantic-Retrieval-Guided KV-Cache Compression for Resource-Efficient Long-Context LLM Inference [9.416125453771361]
  長文大言語モデル(LLM)推論は、メモリフットプリントとキー値キャッシュのデコードコストによって、ますます制限されている。 我々は、GQAベースのLLMのためのリソース効率の良いKV-cache圧縮フレームワークであるCompressKVを提案する。 LongBench と Needle-in-a-Haystack の実験により、CompressKV はメモリ予算全体で既存の KV-cache 消去手法を一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-06-23T11:59:46Z)
• Multi-Segment Attention: Enabling Efficient KV-Cache Management for Faster Large Language Model Serving [18.829614918483255]
  AsymCacheは、LLM(Large Language Model)推論のための計算対応のKVキャッシュ管理システムである。 AsymCacheはTTFTを最大1.90-2.03x、TPOT(time-per-latency-token)を1.62-1.71xまで下げることを示した。
  論文  参考訳（メタデータ） (2026-06-01T23:51:37Z)
• IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
  キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。 セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。 256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
  論文  参考訳（メタデータ） (2026-04-12T09:02:20Z)
• LaCache: Ladder-Shaped KV Caching for Efficient Long-Context Modeling of Large Language Models [52.56008278458534]
  LaCacheは、大規模言語モデルの効率的かつ正確な生成推論のためのトレーニング不要の手法である。 LaCacheを使用することで、LLMは長期モデリングにおける重要な課題、すなわち堅牢な長距離機能と、メモリのアウト・オブ・メモリを走らせることなく連続的な生成の両方に対処できる。
  論文  参考訳（メタデータ） (2025-07-14T19:09:57Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Efficient LLM Inference with Kcache [3.945956673130761]
  大規模言語モデル(LLM)はAIアプリケーションに大きな影響を与えている。 KVキャッシュ技術は業界で最も広く使われている技術の一つである。 本稿では,LLM 推論プロセスにおけるメモリボトルネック問題を軽減するため,新しい KCache 手法を提案する。
  論文  参考訳（メタデータ） (2024-04-28T03:11:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。