論文の概要: DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference

• arxiv url: http://arxiv.org/abs/2604.24647v1
• Date: Mon, 27 Apr 2026 16:15:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:08.154405
• Title: DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference
• Title（参考訳）: DepthKV:長期LLM推論のための層依存性KVキャッシュプルーニング
• Abstract要約: 感性に基づいて,各層に固定されたグローバルKV予算を割り当てる階層依存型プルーニングフレームワークを提案する。 複数のモデルとタスクにわたって、DepthKVは、同じグローバルプルーニング比で一様プルーニングを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 11.462434448123169
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-context reasoning is a critical capability of large language models (LLMs), enabling applications such as long-document understanding, summarization, and code generation. However, efficient autoregressive inference relies on the key-value (KV) cache, whose memory footprint grows linearly with sequence length, leading to a major memory bottleneck. To mitigate this overhead, KV cache pruning methods discard cached tokens with low attention scores during inference. Most existing methods apply a uniform pruning ratio across layers, implicitly assuming that all layers contribute equally to overall model performance. We show that this assumption is suboptimal, as layers differ significantly in their sensitivity to pruning. We propose DepthKV, a layer-dependent pruning framework that allocates a fixed global KV budget across layers based on their sensitivity, rather than using a uniform allocation. Across multiple models and tasks, DepthKV consistently outperforms uniform pruning at the same global pruning ratio, demonstrating more effective utilization of the KV cache budget through layer-dependent allocation.
• Abstract（参考訳）: 長文推論(Long-context reasoning)は、大規模言語モデル(LLM)の重要な機能であり、長い文書理解、要約、コード生成などのアプリケーションを可能にする。 しかし、効率的な自己回帰推論はキー値(KV)キャッシュに依存し、そのメモリフットプリントはシーケンス長とともに線形に増加し、大きなメモリボトルネックを引き起こす。 このオーバーヘッドを軽減するため、KVキャッシュプルーニングメソッドは、推論中に低い注意スコアでキャッシュされたトークンを破棄する。 既存のほとんどのメソッドは、すべてのレイヤがモデル全体のパフォーマンスに等しく寄与することを暗黙的に仮定して、レイヤ間の均一なプルーニング比を適用します。 この仮定は層がプルーニングに対する感度に大きく異なるため, 準最適であることを示す。 DepthKVは、均一なアロケーションを使わずに、各層の感度に基づいて、固定されたグローバルKV予算を割り当てる、層依存型プルーニングフレームワークである。 複数のモデルとタスクにわたって、DepthKVは同じグローバルプルーニング比で一様プルーニングを一貫して上回り、層依存アロケーションを通じてKVキャッシュ予算をより効果的に活用することを示す。

関連論文リスト

• You Only Index Once: Cross-Layer Sparse Attention with Shared Routing [61.29627714699688]
  層間スパースアテンション(A)はYOCOなどのKV共有アーキテクチャ上に構築されている。 シングルインデクサはトークンレベルのトップk選択を一度計算し、その結果のインデックスをレイヤ間で再利用する。 その結果、CLSAは正確かつ効率的であり、最大7.6倍のデコードスピードアップと17.1倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-06-04T17:54:04Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• Comparative Characterization of KV Cache Management Strategies for LLM Inference [0.31498833540989407]
  大言語モデル(LLM)を用いた効率的な推論にはキーバリューキャッシュが不可欠である これらのキャッシュは、自己回帰トークン生成時の冗長な計算を最小限にするために必須である。 KVキャッシュの成長は、システムレベルの大きな課題を引き起こしている。
  論文  参考訳（メタデータ） (2026-04-06T16:00:39Z)
• Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
  高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。 KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。 本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
  論文  参考訳（メタデータ） (2026-04-03T14:56:17Z)
• KVCompose: Efficient Structured KV Cache Compression with Composite Tokens [7.922206020386125]
  大規模言語モデル(LLM)は、効率的な自己回帰復号化のためにキー値(KV)キャッシュに依存している。 我々は,注意誘導型,層適応型複合トークンに基づく,シンプルで効果的なKVキャッシュ圧縮フレームワークを提案する。 本手法は精度を保ちながらメモリの大幅な削減を実現し,従来手法と半構造化手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2025-09-05T14:58:24Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
  推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。 本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。 実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-12-12T07:52:56Z)
• PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
  大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。 ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。 本手法は他の手法と比較して最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T15:48:59Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。