論文の概要: HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2601.13684v1
• Date: Tue, 20 Jan 2026 07:35:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.205086
• Title: HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference
• Title（参考訳）: HeteroCache: 長期LLM推論のための不均一KVキャッシュ圧縮のための動的検索手法
• Authors: Zhiyuan Shi, Qibo Qiu, Feng Xue, Zhonglin Jiang, Li Yu, Jian Jiang, Xiaofei He, Wenxiao Wang,
• Abstract要約: トレーニング不要な動的圧縮フレームワークであるHeteroCacheを提案する。 We show that HeteroCache achieves state-of-the-art performance on multiple long-context benchmarks and accelerates decoding by up $3times$ in the original model in the 224K context。
• 参考スコア（独自算出の注目度）: 14.17979669446161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The linear memory growth of the KV cache poses a significant bottleneck for LLM inference in long-context tasks. Existing static compression methods often fail to preserve globally important information, principally because they overlook the attention drift phenomenon where token significance evolves dynamically. Although recent dynamic retrieval approaches attempt to address this issue, they typically suffer from coarse-grained caching strategies and incur high I/O overhead due to frequent data transfers. To overcome these limitations, we propose HeteroCache, a training-free dynamic compression framework. Our method is built on two key insights: attention heads exhibit diverse temporal heterogeneity, and there is significant spatial redundancy among heads within the same layer. Guided by these insights, HeteroCache categorizes heads based on stability and redundancy. Consequently, we apply a fine-grained weighting strategy that allocates larger cache budgets to heads with rapidly shifting attention to capture context changes, thereby addressing the inefficiency of coarse-grained strategies. Furthermore, we employ a hierarchical storage mechanism in which a subset of representative heads monitors attention shift, and trigger an asynchronous, on-demand retrieval of contexts from the CPU, effectively hiding I/O latency. Finally, experiments demonstrate that HeteroCache achieves state-of-the-art performance on multiple long-context benchmarks and accelerates decoding by up to $3\times$ compared to the original model in the 224K context. Our code will be open-source.
• Abstract（参考訳）: KVキャッシュの線形メモリ成長は、長いコンテキストタスクにおいてLLM推論において重要なボトルネックとなる。 既存の静的圧縮法は、トークンの意義が動的に進化する注目ドリフト現象を無視するため、世界的に重要な情報を保存できないことが多い。 最近の動的検索手法はこの問題に対処しようとするが、一般的には粗い粒度のキャッシュ戦略とデータ転送の頻度による高いI/Oオーバーヘッドに悩まされる。 これらの制限を克服するため、トレーニング不要な動的圧縮フレームワークであるHeteroCacheを提案する。 本手法は2つの重要な知見に基づいて構築されている: 注意頭は多種多様な時間的不均一性を示し、同一層内の頭部間には大きな空間的冗長性が存在する。 これらの洞察に導かれたHeteroCacheは、安定性と冗長性に基づいて、ヘッドを分類する。 その結果,より詳細な重み付け戦略が適用され,より大規模なキャッシュ予算が急速に注目を移して状況変化を捉え,粗粒化戦略の非効率性に対処する。 さらに,アテンションシフトを監視し,CPUからコンテキストを非同期にオンデマンドに検索し,I/Oレイテンシーを効果的に隠蔽する階層記憶機構を採用した。 最後に、実験により、HeteroCacheは複数のロングコンテキストベンチマークで最先端のパフォーマンスを実現し、224Kコンテキストのオリジナルのモデルと比較して最大$3\timesのデコーディングを高速化することを示した。 私たちのコードはオープンソースになります。

関連論文リスト

• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• LAVa: Layer-wise KV Cache Eviction with Dynamic Budget Allocation [24.45300622331682]
  KVキャッシュはLLM推論を長いコンテキストで高速化するために一般的に使用される。 しかし、既存の圧縮方法はほとんどなく、動的予算配分が欠如している。 本稿では,Transformer残ストリームにおける情報損失を最小限に抑えることにより,キャッシュ圧縮のための統一的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-11T16:48:24Z)
• DiCache: Let Diffusion Model Determine Its Own Cache [62.954717254728166]
  DiCacheは、実行時に拡散モデルを加速するためのトレーニング不要のアダプティブキャッシュ戦略である。 Online Probe Profiling Schemeは浅層オンラインプローブを利用して,キャッシュエラーのオンザフライインジケータをリアルタイムで取得する。 Dynamic Cache Trajectory Alignmentは、マルチステップの履歴キャッシュから出力されるディープ層の特徴を近似する。
  論文  参考訳（メタデータ） (2025-08-24T13:30:00Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• AirCache: Activating Inter-modal Relevancy KV Cache Compression for Efficient Large Vision-Language Model Inference [11.73134417321505]
  本稿では,LVLM推論の高速化を目的とした新しいKVキャッシュ圧縮手法であるAirCacheを提案する。 本手法は,視覚的KVキャッシュの10%を保ちながら,フルキャッシュに匹敵する性能を実現する。
  論文  参考訳（メタデータ） (2025-03-31T11:13:18Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• A Learning-Based Caching Mechanism for Edge Content Delivery [2.412158290827225]
  5GネットワークとIoT(Internet of Things)の台頭により、ネットワークのエッジはますます拡大している。 このシフトは、特に限られたキャッシュストレージとエッジにおける多様な要求パターンのために、ユニークな課題をもたらす。 HR-Cacheは、ハザードレート(HR)順序付けの原則に基づく学習ベースのキャッシュフレームワークである。
  論文  参考訳（メタデータ） (2024-02-05T08:06:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。