論文の概要: Distance-KV: Exploiting Relative Distance for Efficient Long-Context Inference

• arxiv url: http://arxiv.org/abs/2609.32663v1
• Date: Sat, 26 Sep 2026 14:20:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 21:29:38.388129
• Title: Distance-KV: Exploiting Relative Distance for Efficient Long-Context Inference
• Title（参考訳）: 距離-KV:効率的な長文脈推論のための相対距離の爆発
• Abstract要約: 本稿では,レイヤ,アテンションヘッド,相対距離の結合空間上で静的なKV保持パターンを学習するDistance-KVを紹介する。 3つのバックボーンモデルと4つの長期コンテキストベンチマークで、Distance-KVは一貫して最高のパフォーマンスを実現している。 128KのLlama-3.1-8B-Instructでは、Distance-KVはKVキャッシュメモリを65.4%削減し、Denseと比較して1.66Times$デコードスピードアップを達成する。
• 参考スコア（独自算出の注目度）: 31.161219222638294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The memory usage and decoding latency of LLM inference grow rapidly with context length. To reduce these costs, key-value (KV) cache compression methods selectively retain cached states based on token importance or differences in attention patterns across heads. However, we discover that retrieval capability varies substantially with relative distance, even within the same attention head. To exploit this structure, we introduce Distance-KV, which learns a static KV retention pattern over the joint space of layers, attention heads, and relative distances. The pattern is learned offline with the language model frozen and reused across inputs to prune and compact the KV cache without online importance scoring. Across three backbone models and four long-context benchmarks, Distance-KV consistently achieves the best overall performance among competing KV cache compression methods, exceeding the strongest compression baseline by up to 9.3 points on RULER at 128K. On Llama-3.1-8B-Instruct at 128K, Distance-KV reduces KV cache memory by 65.4% and achieves a $1.66\times$ decoding speedup relative to Dense. Together, these results identify relative distance as an important structural dimension for understanding how LLMs retrieve information over long contexts and for designing more efficient inference methods.
• Abstract（参考訳）: LLM推論のメモリ使用量と復号遅延は文脈長とともに急速に増大する。 これらのコストを削減するため、キー値(KV)キャッシュ圧縮手法は、トークンの重要性やヘッド間の注意パターンの違いに基づいてキャッシュされた状態を選択的に保持する。 しかし,同じ注目ヘッド内であっても,検索能力は相対的距離によって大きく変化することがわかった。 この構造を利用するために,レイヤ,アテンションヘッド,相対距離の結合空間上で静的なKV保持パターンを学習するDistance-KVを導入する。 パターンはオフラインで学習され、言語モデルは凍結され、入力間で再利用される。 3つのバックボーンモデルと4つのロングコンテキストベンチマークで、Distance-KVは競合するKVキャッシュ圧縮手法の中では最高性能を一貫して達成し、RULERの128Kで最大9.3ポイントの圧縮ベースラインを超えた。 128KのLlama-3.1-8B-Instructでは、Distance-KVはKVキャッシュメモリを65.4%削減し、Denseと比較して1.66\times$デコードスピードアップを達成する。 これらの結果は,LLMが長期にわたる情報検索の方法や,より効率的な推論手法を設計するための重要な構造次元として,相対距離を同定するものである。

関連論文リスト

• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• FreqDepthKV: Frequency-Guided Depth Sharing for Robust KV Cache Compression in Long-Context LLM Inference [0.0]
  FreqDepthKVは、隣接層KV状態を共有低周波深さ成分とスパース高周波残差に分解する推論時キャッシュ圧縮法である。 軽量なオンラインプローブは、リコンストラクションに敏感なアテンションログへの貢献に応じて、アテンションヘッドを共有深度、残留深度、または正確なキャッシュモードに割り当てる。 FreqDepthKVは、長いコンテキストの質問応答、針の検索、要約、コード生成ベンチマークを通じて、かなり小さなキャッシュ予算の下でタスクの正確性を保持する。
  論文  参考訳（メタデータ） (2026-07-07T17:26:28Z)
• TTKV: Temporal-Tiered KV Cache for Long-Context LLM Inference [11.997332729897899]
  キーバリュー(KV)キャッシングは、大規模言語モデル(LLM)における効率的な推論に重要である 我々は,人間のメモリシステムをKVキャッシュにマッピングするKVキャッシュ管理フレームワークであるTTKVを提案する。 実験の結果、TTKVは128Kのコンテキストタスクにおいて、層間トラフィックを5.94倍削減し、最大で76%のレイテンシ削減と2倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2026-03-27T09:01:23Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)
• KV-Compress: Paged KV-Cache Compression with Variable Compression Rates per Attention Head [0.8158530638728501]
  そこで我々は,PagedAttentionフレームワーク内で連続KVブロックを除去する新しい圧縮手法であるKV-Compressを紹介する。 本手法は,Mistral-7B-Instruct-v0.2およびLlama-3.1-8B-InstructのLongBenchにおける圧縮KVの総数を4倍に減らしながら,最先端の性能を実現する。 Llama-3.1-8B-InstructとLlama-3.1-70B-Instruct-FP8の評価は、圧縮速度を最大8倍まで達成し、性能に悪影響を及ぼすことなく、フルキャッシュ性能の90%以上を維持しながら、最大64倍まで向上する。
  論文  参考訳（メタデータ） (2024-09-30T19:09:13Z)
• PyramidKV: Dynamic KV Cache Compression based on Pyramidal Information Funneling [38.732413451399]
  ピラミッドKVは新規かつ効果的なKVキャッシュ圧縮法である。 提案手法は,KVキャッシュの12%しか保持せず,完全なKVキャッシュでモデルの性能と一致していることを示す。 Needle-in-a-Haystack実験では、Praamid KVは長文理解の維持において競合する手法より優れている。
  論文  参考訳（メタデータ） (2024-06-04T07:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。