論文の概要: KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs

• arxiv url: http://arxiv.org/abs/2604.13226v2
• Date: Fri, 17 Apr 2026 02:14:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 13:38:49.299895
• Title: KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs
• Title（参考訳）: KV Packet: LLMのための再計算不要なコンテキスト非依存KVキャッシング
• Authors: Chuangtao Chen, Grace Li Zhang, Xunzhao Yin, Cheng Zhuo, Bing Li, Ulf Schlichtmann,
• Abstract要約: 大規模言語モデルは、推論遅延を最小限に抑えるためにキーバリュー(KV)キャッシングに大きく依存する。 CacheBlend、EPIC、SAM-KVといった既存のソリューションは、トークンのサブセットを選択的に再計算することでこの問題を軽減する。 我々は,KV Packetを提案する。KV Packetは,キャッシュされた文書を,軽量なトレーニング可能なソフトトーケンアダプタでラップした不変パケットとして扱う,再計算不要なキャッシュ再利用フレームワークである。
• 参考スコア（独自算出の注目度）: 11.980880525012056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) rely heavily on Key-Value (KV) caching to minimize inference latency. However, standard KV caches are context-dependent: reusing a cached document in a new context requires recomputing KV states to account for shifts in attention distribution. Existing solutions such as CacheBlend, EPIC, and SAM-KV mitigate this issue by selectively recomputing a subset of tokens; however, they still incur non-negligible computational overhead (FLOPs) and increased Time-to-First-Token (TTFT) latency. In this paper, we propose KV Packet, a recomputation-free cache reuse framework that treats cached documents as immutable ``packets'' wrapped in light-weight trainable soft-token adapters, which are trained via self-supervised distillation to bridge context discontinuities. Experiments on Llama-3.1 and Qwen2.5 demonstrate that the proposed KV Packet method achieves near-zero FLOPs and lower TTFT than recomputation-based baselines, while retaining F1 scores comparable to those of the full recomputation baseline.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、推論遅延を最小限にするためにキーバリュー(KV)キャッシングに大きく依存している。 しかし、標準的なKVキャッシュはコンテキストに依存しており、新しいコンテキストでキャッシュされたドキュメントを再利用するには、注意分布の変化を考慮するためにKV状態を再計算する必要がある。 CacheBlend、EPIC、SAM-KVといった既存のソリューションはトークンのサブセットを選択的に再計算することでこの問題を軽減するが、それでもFLOP(非無視計算オーバーヘッド)を発生させ、TTFT(Time-to-First-Token)レイテンシを増大させる。 本稿では,KV Packetを提案する。KV Packetは,キャッシュされた文書を軽量なトレーニング可能なソフトトーケンアダプタでラップした不変な '`packets''' として扱う,再計算不要なキャッシュ再利用フレームワークである。 Llama-3.1 と Qwen2.5 の実験では、提案した KV Packet 法は、再計算ベースラインに匹敵するスコアを維持しながら、再計算ベースラインよりもほぼゼロの FLOP と低い TTFT を達成することを示した。

関連論文リスト

• DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
  そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。 実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
  論文  参考訳（メタデータ） (2026-02-08T15:14:36Z)
• Beyond Speedup -- Utilizing KV Cache for Sampling and Reasoning [46.206380947009784]
  KVキャッシュは、通常、自動回帰復号化をスピードアップするためにのみ使用され、ダウンストリームタスクのために余分なコストで再利用できるコンテキスト情報をエンコードする。 我々は,KVキャッシュを軽量な表現として扱うことを提案する。
  論文  参考訳（メタデータ） (2026-01-28T07:44:52Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• KVzip: Query-Agnostic KV Cache Compression with Context Reconstruction [37.97434606840326]
  トランスフォーマーベースの大規模言語モデル(LLM)は、推論中にキー値(KV)ペアとしてキャッシュコンテキストを持つ。 コンテキストの長さが大きくなると、KVキャッシュのサイズが拡大し、メモリオーバーヘッドが大きくなり、注意の遅延が増大する。 本稿では,クエリに依存しないKVキャッシュ消去手法であるKVzipを紹介する。
  論文  参考訳（メタデータ） (2025-05-29T13:05:47Z)
• FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
  FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。 蓄積された圧縮KVキャッシュを過去のターンから保存する。 古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
  論文  参考訳（メタデータ） (2025-05-21T10:20:46Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse [30.48395228595732]
  KVLinkは、大規模言語モデル(LLM)における効率的なキー値(KV)キャッシュ再利用のためのアプローチである。 KVLinkは、連結後のグローバルな位置と一致するように、推論時にKVキャッシュの位置埋め込みを調整することと、自己注意を回復するためにトレーニング可能な特別なトークンを使用することである。 7つのデータセットにわたる実験によると、KVLinkは最先端の手法よりも平均4%の精度で質問応答を改善する。
  論文  参考訳（メタデータ） (2025-02-21T23:34:29Z)
• SCBench: A KV Cache-Centric Analysis of Long-Context Methods [61.025422435235456]
  KVキャッシュ中心の視点から長文の手法を評価するベンチマークであるSCBenchを紹介する。 我々は、Gated Linear RNNsやMamba-Attention Hybridsを含む8つのカテゴリの長期コンテキストソリューションについて、広範なKVキャッシュ中心の分析を行う。 本研究は,O(n)メモリとサブO(n2)プリフィルによるスパース符号化が堅牢に動作する一方で,サブO(n)メモリ手法がマルチターンシナリオに悩まされていることを示す。
  論文  参考訳（メタデータ） (2024-12-13T17:59:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。