論文の概要: The KV Cache Is the New Memory Wall

• arxiv url: http://arxiv.org/abs/2609.30854v1
• Date: Fri, 25 Sep 2026 06:01:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.239784
• Title: The KV Cache Is the New Memory Wall
• Title（参考訳）: KVキャッシュは、新しいメモリウォール
• Abstract要約: 我々は文献を5つの領域、量子化、トークン消去、KVページング、プレフィックス分割階層化に分類し、128kのコンテキストで1つのドメイン1つのメソッドを評価する。 ハードウェア固有のクロスオーバーの下、重量輸送が支配的であり、KV圧縮は無視できるスピードアップをもたらす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Autoregressive LLM inference at long context is bounded by memory bandwidth, not arithmetic throughput, and the binding resource shifts from model weights to the Key-Value (KV) cache as sequence length grows. For Llama-3-70B in BF16, the 140 GB weight footprint exceeds the 80 GB HBM of a single accelerator, and one 128k-token sequence adds 42 GB of KV cache. Techniques that compress, evict, page, share, or offload KV state have proliferated, but reported gains use inconsistent workloads, hardware, and quality metrics, preventing cross-paper comparison. This SoK paper unifies the field analytically, with a protocol that strictly separates derived and reported claims. We derive closed-form arithmetic intensity as a decaying function of context length, parameterized by hardware topology for NVIDIA H100, NVIDIA B200, and AMD MI300X, including per-die bandwidth partitioning and the crossover lengths where KV traffic overtakes weight traffic. We classify the literature into five domains, quantization, token eviction, KV paging, prefix caching, and heterogeneous tiering, evaluating one method per domain at 128k context under a single protocol. The central finding is a three-regime structure: below a hardware-specific crossover, weight traffic dominates and KV compression yields negligible speedup; beyond it, KV traffic dominates and each domain trades quality for bandwidth savings approaching the roofline bound. Paging and prefix sharing are lossless but address capacity, not bandwidth. Quantization and eviction cut bandwidth directly, with degradation that accelerates below 4-bit precision and turns discontinuous for eviction on position-sensitive tasks. Tiering converts the bandwidth wall into an interconnect problem bounded by PCIe or NVLink rather than HBM. We close with design rules for selecting a compression domain given hardware, context length, and quality budget.
• Abstract（参考訳）: 長いコンテキストでの自己回帰LDM推論は、演算スループットではなくメモリ帯域幅によって境界付けられ、バインディングリソースは、シーケンス長が増加するにつれて、モデル重みからキーバリュー(KV)キャッシュにシフトする。 BF16のLlama-3-70Bの場合、140GBの重量は1つの加速器の80GB HBMを超える。 KVステートを圧縮、削除、ページ、共有、オフロードするテクニックは急増しているが、一貫性のないワークロード、ハードウェア、品質メトリクスを使用することで、クロスペーパー比較を防止していると報告されている。 このSoK論文は、引き起こされた主張と報告された主張を厳密に分離するプロトコルを用いて、解析的に分野を統一する。 我々は, NVIDIA H100, NVIDIA B200, AMD MI300Xのハードウェアトポロジによりパラメータ化され, 帯域幅の分割やKVトラフィックがウェイトトラフィックを上回るクロスオーバー長を含む, 文脈長の減衰関数として閉形式演算強度を導出する。 文献は、量子化、トークン消去、KVページング、プレフィックスキャッシング、異種階層化の5つの領域に分類し、128kのコンテキストで1つのドメイン1つのメソッドを評価する。 ハードウェア固有のクロスオーバーの下には、重量輸送が支配的であり、KV圧縮が無視できるスピードアップをもたらし、その上、KVトラフィックが支配的であり、各ドメインはルーフライン境界に近づく帯域節約のために品質を交換する。 ページングとプレフィックス共有はロスレスだが、帯域幅ではなくアドレス容量である。 量子化と消去は、直接帯域幅を削減し、分解は4ビットの精度以下に加速し、位置感性タスクの消去には不連続となる。 タイアリングは、帯域幅の壁をHBMではなくPCIeやNVLinkでバウンドされた相互接続問題に変換する。 我々は、与えられたハードウェア、コンテキスト長、品質予算の圧縮領域を選択するための設計規則を締めくくっている。

関連論文リスト

• Minima-KV: Retention-Preserving KV Cache Compression with Mixed-Format Paged Attention [0.0]
  Minima-KVは、混合形式ページアテンションのための保持保存階層である。 最近の保護されたアンカーページはFP8に残っており、古いアンカーページはTQ3に移動している。 フォーマット固有のカーネルは部分的な注意状態を計算し、それらをグローバルに標準化されたオンライン-ソフトマックス状態を通して組み合わせる。
  論文  参考訳（メタデータ） (2026-08-24T21:21:58Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
  我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。 OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。 オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
  論文  参考訳（メタデータ） (2025-09-25T21:42:27Z)
• TailorKV: A Hybrid Framework for Long-Context Inference via Tailored KV Cache Optimization [21.229296254354878]
  生成型大規模言語モデル(LLM)におけるキーバリューキャッシュは、かなりのメモリオーバーヘッドをもたらす。 既存の作業は、KVキャッシュをオフロードまたは圧縮することで、この負担を軽減する。 本稿では,量子化とオフロードをシームレスに統合するハイブリッド圧縮手法であるTailorKVを提案する。
  論文  参考訳（メタデータ） (2025-05-26T07:00:04Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
  トレーニング不要なKVキャッシュ圧縮戦略であるRocketKVについて述べる。 第1段階では、入力シーケンストークンに対して粗粒永久KVキャッシュ消去を行う。 第2段階では、微粒のトップkスパースアテンションを行うために、ハイブリッドスパースアテンション方式を採用する。
  論文  参考訳（メタデータ） (2025-02-19T19:12:46Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。