論文の概要: DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models

• arxiv url: http://arxiv.org/abs/2610.36950v1
• Date: Tue, 27 Oct 2026 10:11:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.562072
• Title: DCKV: Learned Transform Coding of the Prompt KV Cache in Hybrid Language Models
• Title（参考訳）: DCKV:ハイブリッド言語モデルにおけるプロンプトKVキャッシュの変換符号化
• Abstract要約: 我々は、KVキャッシュのための微分可能変換であるDCKVと、エンドツーエンドにトレーニングされた最初のKVキャッシュを提案する。 量子化器とそのエントロピーモデルは、プロンプトトークンや既にデコードされた位置で条件付けられている。 Qwen3.5-2Bでは、DCKVは圧縮されたトークンを、少なくとも1.8ポイントの損失でbf16の55倍少ないバイトで保存する。
• 参考スコア（独自算出の注目度）: 0.40133429251802505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hybrid language models keep a key-value (KV) cache only in their few full-attention layers, but this cache is still the part of a prompt's state that grows with the prompt and that must be stored or moved to reuse it. We present DCKV, a differentiable codec for the KV cache and the first KV-cache codec that is trained end to end. Its transform, its quantizer and its entropy models, which are conditioned on the prompt tokens and on already decoded neighbouring positions, are optimized together against the frozen language model, both for the code length that the entropy models assign and for the change of the model's output. On Qwen3.5-2B, DCKV stores a compressed token in more than 55 times fewer bytes than bf16 at a loss of at most 1.8 points on three long-context benchmarks, and in more than 100 times fewer bytes at a loss of at most 3.6 points.
• Abstract（参考訳）: ハイブリッド言語モデルは、キーバリュー(KV)キャッシュをいくつかのフルアテンション層にのみ保持するが、このキャッシュはプロンプトとともに成長するプロンプト状態の一部であり、それを再利用するために保存または移動する必要がある。 我々は、KVキャッシュ用の微分可能コーデックであるDCKVと、エンドツーエンドにトレーニングされた最初のKVキャッシュコーデックを提示する。 その変換、量子化器とそのエントロピーモデルは、プロンプトトークンと既にデコードされている位置で条件付けられ、凍結された言語モデルに対して、エントロピーモデルが割り当てるコード長とモデル出力の変化の両方に最適化される。 Qwen3.5-2Bでは、DCKVは圧縮されたトークンをbf16より55倍少ないバイトで保存し、3つの長文ベンチマークで1.8ポイント以上、最大3.6ポイントで100倍以上少ないバイトで保存する。

関連論文リスト

• End-to-End Context Compression at Scale [81.70601323130997]
  長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。 KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。 既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
  論文  参考訳（メタデータ） (2026-06-08T15:43:16Z)
• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• KV Cache Transform Coding for Compact Storage in LLM Inference [2.20003167536462]
  KVTCは、KVキャッシュをコンパクトなオンGPUとオフGPUストレージに圧縮する軽量トランスフォーメーションコーダである。 KVキャッシュの冗長性を活用することで、KVTCは推論と長文の精度を維持しながら最大20$times$圧縮を達成する。 我々は、AIME25、LiveCodeBench、GSM8K、MMLU、Qasper、RULER、MATH-500を含むベンチマークで、Llama 3、Mistral NeMo、R1-Qwen 2.5モデルでKVTCをテストする。
  論文  参考訳（メタデータ） (2025-11-03T18:20:35Z)
• RocketKV: Accelerating Long-Context LLM Inference via Two-Stage KV Cache Compression [25.190765258589707]
  トレーニング不要なKVキャッシュ圧縮戦略であるRocketKVについて述べる。 第1段階では、入力シーケンストークンに対して粗粒永久KVキャッシュ消去を行う。 第2段階では、微粒のトップkスパースアテンションを行うために、ハイブリッドスパースアテンション方式を採用する。
  論文  参考訳（メタデータ） (2025-02-19T19:12:46Z)
• QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
  大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。 これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。 そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
  論文  参考訳（メタデータ） (2025-02-05T20:43:48Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• CacheBlend: Fast Large Language Model Serving for RAG with Cached Knowledge Fusion [15.344568214955688]
  大規模な言語モデル(LLM)は、必要なコンテキストを提供するために、入力に複数のテキストチャンクを組み込むことが多い。 長いLLM入力のプリフィルを高速化するため、別のLLM入力のプレフィックスとしてコンテキストが再利用された場合、テキストのKVキャッシュをプリコンプリートし、KVキャッシュを再使用することができる。 本稿では,KVキャッシュを高速に組み合わせて,高価なプリフィルと同世代の品質を実現する方法を提案する。
  論文  参考訳（メタデータ） (2024-05-26T06:00:17Z)
• Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs [82.08922896531618]
  大規模言語モデル(LLM)における生成推論のメモリフットプリントを削減するプラグイン・アンド・プレイ方式である適応KVキャッシュ圧縮を導入する。 我々は,アテンションモジュールの本質的な構造を明らかにするために,ターゲットプロファイリングを行う。 認識された構造に基づいて、我々はKVキャッシュを適応的に構築する: 注意頭上の長距離コンテキストを排除し、局所的なコンテキストを強調し、特別なトークンを中心とした注意頭上の特別なトークンを排除し、すべてのトークンに広く参加する注目頭に対して標準のKVキャッシュのみを使用する。
  論文  参考訳（メタデータ） (2023-10-03T05:17:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。