論文の概要: Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit

• arxiv url: http://arxiv.org/abs/2604.15356v1
• Date: Fri, 10 Apr 2026 22:48:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-20 22:00:19.536753
• Title: Sequential KV Cache Compression via Probabilistic Language Tries: Beyond the Per-Vector Shannon Limit
• Title（参考訳）: 確率言語による逐次KVキャッシュ圧縮:ベクトルごとのシャノン限界を超えて
• Authors: Gregory Magarshak,
• Abstract要約: 最近のKVキャッシュ量子化の研究はTurboQuantで終わり、トランスフォーマーキー値キャッシュのベクターあたりの圧縮に対するシャノンエントロピー限界に近づいた。 この制限は、KVキャッシュをシーケンスとして圧縮するという、実際に問題となる問題よりも厳密に弱い問題に適用される。 KVキャッシュに格納されているトークンは、任意の浮動小数点データではなく、モデルがトレーニングした正確な形式言語からのサンプルであり、モデルは、その言語のほぼ最適予測子を構築することで構成される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work on KV cache quantization, culminating in TurboQuant, has approached the Shannon entropy limit for per-vector compression of transformer key-value caches. We observe that this limit applies to a strictly weaker problem than the one that actually matters: compressing the KV cache as a sequence. The tokens stored in a KV cache are not arbitrary floating-point data -- they are samples from the exact formal language the model was trained on, and the model is by construction a near-optimal predictor of that language. We introduce sequential KV compression, a two-layer architecture that exploits this structure. The first layer, probabilistic prefix deduplication, identifies semantically equivalent shared prefixes across sessions using the trie metric d_T(s, s') = -log_2 P_M(s ^ s') from Probabilistic Language Tries (PLTs). The second layer, predictive delta coding, stores only the residual of each new KV vector from the model's own prediction of it, achieving a per-token entropy bound of H(KV_{i+1} | KV_{<=i}) <= H(token_{i+1} | token_{<=i}). We prove that at typical language model perplexity -- approximately 10-20 for fluent English text -- this bound is 3.3-4.3 bits on average per token position, compared to TurboQuant's 3 bits per vector component (with typical attention heads having 64-128 components). The theoretical compression ratio over TurboQuant is approximately 914,000x at the Shannon limit. Even at 1000x above the entropy floor -- a deliberately pessimistic worst-case overhead, two orders of magnitude above the 2-5x typical of practical source coders -- the ratio remains approximately 914x over TurboQuant, with compression improving rather than degrading as context length grows. The two layers are orthogonal and compose with existing per-vector quantization methods including TurboQuant.
• Abstract（参考訳）: 最近のKVキャッシュ量子化の研究はTurboQuantで終わり、トランスフォーマーキー値キャッシュのベクターあたりの圧縮に対するシャノンエントロピー限界に近づいた。 この制限は、KVキャッシュをシーケンスとして圧縮するという、実際に問題となる問題よりも厳密に弱い問題に適用される。 KVキャッシュに格納されているトークンは、任意の浮動小数点データではなく、モデルがトレーニングした正確な形式言語からのサンプルであり、モデルは、その言語のほぼ最適予測子を構築することで構成される。 この構造を利用する2層アーキテクチャであるシーケンシャルKV圧縮を導入する。 第1の層である確率的プレフィックス重複(probabilistic prefix deduplication)は、 Probabilistic Language Tries (PLTs) の Trie metric d_T(s, s') = -log_2 P_M(s ^ s') を用いて、セッション間で意味的に等価な共有プレフィックスを識別する。 第2の層、予測デルタ符号は、モデル自身の予測から新しいKVベクトルの残余のみを格納し、H(KV_{i+1} | KV_{<=i}) <= H(token_{i+1} | token_{<=i}) のトーケンエントロピー境界を達成する。 我々は、典型的な言語モデルパープレキシティーにおいて、この境界はトークン当たりの平均3.3-4.3ビットであり、TurboQuantのベクトル成分あたり3ビットである(典型的なアテンションヘッドは64-128コンポーネント)。 TurboQuant上の理論的圧縮比はシャノン限界で約914,000倍である。 エントロピーフロアの1000倍(故意に悲観的な最悪のオーバヘッド、実用的なソースコードコーダの2-5倍の2桁)でも、その比率はTurboQuantの約914倍であり、コンテクストの長さが大きくなるにつれて圧縮が向上する。 2つの層は直交しており、TurboQuantを含む既存のベクトルごとの量子化手法で構成される。

関連論文リスト

• TPLA: Tensor Parallel Latent Attention for Efficient Disaggregated Prefill and Decode Inference [48.40143137402824]
  MLA(Multi-Head Latent Attention)は、キー値の状態を低ランクの潜在ベクトルに圧縮し、このベクトルだけをキャッシュしてメモリを減少させる。 しかし、テンソル並列性(TP)では、アテンションヘッドは複数のデバイスにまたがって計算され、各デバイスはフルキャッシュをロードしなければならない。 本稿では,潜在表現と各頭部の入力次元をデバイス間で分割し,シャード毎に独立して注目を行い,結果を全再現と組み合わせる方式であるTPLAを提案する。
  論文  参考訳（メタデータ） (2025-08-21T15:25:40Z)
• CommVQ: Commutative Vector Quantization for KV Cache Compression [50.37946553931796]
  本稿では,長期LLM推論におけるメモリ使用量を大幅に削減するために,CommVQ(CommVQ)を提案する。 まず、KVキャッシュを圧縮するための軽量エンコーダとコードブックを用いた加算量子化を導入する。 提案手法は,RoPE-commutative codebook を用いた加算量子化と低オーバーヘッド化により高い精度を実現する。
  論文  参考訳（メタデータ） (2025-06-23T17:50:11Z)
• Cramming 1568 Tokens into a Single Vector and Back Again: Exploring the Limits of Embedding Space Capacity [5.087492669838185]
  圧縮比が最大で x1500 となるベクトルが存在することを示す。 得られた限界は、入力埋め込みの理論的能力とそれらの実用的利用の間の実質的なギャップを浮き彫りにする。
  論文  参考訳（メタデータ） (2025-02-18T17:08:45Z)
• KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
  我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。 実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。 我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
  論文  参考訳（メタデータ） (2024-10-24T08:06:41Z)
• GEAR: An Efficient KV Cache Compression Recipe for Near-Lossless Generative Inference of LLM [37.87634266742105]
  キーバリュー(KV)キャッシングは,大規模言語モデル(LLM)推論における生成速度を高速化するデファクトとなっている。 既存の方法は、重要でないトークンをドロップしたり、全てのエントリを均一に定量化することに依存している。 本稿では,高速なKVキャッシュ圧縮フレームワークであるGEARを提案する。
  論文  参考訳（メタデータ） (2024-03-08T18:48:30Z)
• KIVI: A Tuning-Free Asymmetric 2bit Quantization for KV Cache [67.9776980972508]
  我々はKIVIというチューニング不要な2ビットKVキャッシュ量子化アルゴリズムを開発した。 KIVI は Llama, Falcon, Mistral のモデルを $mathbf2.6times$ less peak memory を使用しながらほぼ同じ品質を維持することができる。
  論文  参考訳（メタデータ） (2024-02-05T06:06:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。