論文の概要: AlignPred: Error-Controlled KV Cache Compression via Alignment and Predictive Coding
- arxiv url: http://arxiv.org/abs/2610.17970v1
- Date: Tue, 13 Oct 2026 08:44:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 07:58:52.1812
- Title: AlignPred: Error-Controlled KV Cache Compression via Alignment and Predictive Coding
- Title（参考訳）: AlignPred: アライメントと予測符号化によるエラー制御KVキャッシュ圧縮
- Abstract要約: 長時間稼働するエージェントは、何時間か数日も、ターンとセッションをまたいでKVキャッシュを保持する。
長時間稼働するエージェントは、何時間か数日も、ターンとセッションをまたいでKVキャッシュを保持する。
本稿では,局所的な予測アライメントとKV再構成エラー予算を組み合わせたAlignPredを提案する。
- 参考スコア（独自算出の注目度）: 34.385165375510404
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-running agents retain KV caches across turns and sessions for hours or days. Compressing these persistent caches requires reducing storage while controlling reconstruction error. We present AlignPred, a codec that combines local alignment with predictive coding under a configurable KV reconstruction-error budget. Local orthogonal transforms align related heads or layers into a common coordinate frame, allowing AlignPred to combine token-wise prediction with same-token prediction across heads or layers. Residuals are quantized on an error-bounded lattice and entropy-coded, without learned predictors, encoder-side mode search, or large joint transforms. Across three attention mechanisms, AlignPred requires less storage than the evaluated baselines at comparable measured reconstruction error. Against the evaluated CPU codec implementations, it decodes at least 1.6 times faster while matching or improving encode time. AlignPred achieves near-native task scores at substantially compressed operating points on LongBench-Pro at 128K context. AlignPred's SGLang HiCache integration reduces persistent target-KV storage by 42-72% relative to native HiCache, with comparable latency.
- Abstract（参考訳）: 長時間稼働するエージェントは、何時間か数日も、ターンとセッションをまたいでKVキャッシュを保持する。
これらの永続的なキャッシュを圧縮するには、再構成エラーを制御しながらストレージを削減する必要がある。
我々は、ローカルアライメントと予測符号化を組み合わせたコーデックであるAlignPredを、構成可能なKV再構成エラー予算の下で提示する。
局所直交変換は、関連する頭や層を共通の座標フレームに整列させ、AlignPredはトークン単位の予測と、頭や層をまたいだ同じトーケン予測を組み合わせられるようにする。
残差は誤差有界格子上で量子化され、予測器、エンコーダ側モードサーチ、あるいは大きな関節変換なしでエントロピー符号化される。
3つの注意機構の中で、AlignPredは、同等の再現誤差で評価されたベースラインよりも少ないストレージを必要とする。
評価されたCPUコーデックの実装に対して、少なくとも1.6倍高速にデコードし、また、エンコード時間も改善した。
AlignPredは、128KコンテキストでLongBench-Pro上の実質的に圧縮された操作ポイントで、ほぼネイティブなタスクスコアを達成する。
AlignPredのSGLang HiCache統合は、ネイティブなHiCacheと比較して、永続的なターゲット-KVストレージを42～72%削減する。
関連論文リスト
- Codec-Gauge: Learning Compression-Friendly Gauges for Transformer KV Caches [25.55174329283001]
長文トランスフォーマー推論は、KVキャッシュ圧縮や量子化にますます依存している。
我々は,キャッシュ調整後のレイヤであるCodec-Gaugeを紹介した。
論文 参考訳（メタデータ） (2026-07-10T17:18:25Z) - DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。
DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
論文 参考訳（メタデータ） (2026-07-07T17:29:01Z) - End-to-End Context Compression at Scale [81.70601323130997]
長期コンテキスト言語モデル推論は、KVキャッシュがコンテキスト長とともに増加するにつれて、メモリによってボトルネックとなる。
KVキャッシュを圧縮する最近の技術は、モデル品質を著しく低下させるか、あるいはかなりの時間を要するか、1つの長いプロンプトを圧縮するために計算する。
既存のアプローチは、精度-効率のフロンティア上のKVキャッシュ圧縮と競合しない。
論文 参考訳（メタデータ） (2026-06-08T15:43:16Z) - VeriCache: Turning Lossy KV Cache into Lossless LLM Inference [24.571166055469508]
私たちは、フルKV-cacheデコードと同じ出力を保証する最初の推論フレームワークであるVeriCacheを紹介します。
VeriCacheはフルKVキャッシュよりも最大4倍高いスループットを実現していることを示す。
論文 参考訳（メタデータ） (2026-05-17T19:18:39Z) - CodeComp: Structural KV Cache Compression for Agentic Coding [31.344543370007568]
既存の圧縮法はトークンの重要性を推定するために注意信号に依存している。
静的プログラム解析をLLM推論に組み込んだ,トレーニング不要なKVキャッシュ圧縮フレームワークであるCodeCompを提案する。
CodeCompは、同じメモリ予算の下で、アテンションのみの圧縮ベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-04-11T14:38:11Z) - DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。
DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。
実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文 参考訳（メタデータ） (2026-02-08T15:14:36Z) - KVReviver: Reversible KV Cache Compression with Sketch-Based Token Reconstruction [20.53279247581787]
スケッチアルゴリズムに基づく可逆的なKVキャッシュ圧縮手法であるKVReviverを提案する。
2kのコンテキストでは、同じエンドツーエンドの推論精度を維持しながら、KVキャッシュの予算の10%しか必要としない。
32kのコンテキストでは、同等または同等の精度の2%の精度の損失を達成する。
論文 参考訳（メタデータ） (2025-12-01T03:59:20Z) - OjaKV: Context-Aware Online Low-Rank KV Cache Compression with Oja's Rule [54.37983890753086]
我々は,戦略的ハイブリッドストレージポリシとオンラインサブスペース適応を統合したフレームワークであるOjaKVを紹介する。
OjaKVは、重要かつ最新のトークンをフルランクで保存し、注意のために高忠実なアンカーを維持している。
オンライン主成分分析のためのOjaのアルゴリズムを用いて、プロジェクションベースを漸進的に適応させることにより、低ランク圧縮を適用する。
論文 参考訳（メタデータ） (2025-09-25T21:42:27Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - QuantSpec: Self-Speculative Decoding with Hierarchical Quantized KV Cache [67.84112700032007]
大きな言語モデル(LLM)は、長いコンテキスト設定のためにエッジデバイスにデプロイされることが増えている。
これらのシナリオでは、キーバリュー(KV)キャッシュがGPUメモリとレイテンシの両方において主要なボトルネックとなっている。
そこで本研究では,ターゲットモデルのアーキテクチャを共有するが,階層的な4ビット量子化KVキャッシュと4ビット量子化重みを併用して高速化を行う,新たな自己推論型デコーディングフレームワークであるQuantSpecを提案する。
論文 参考訳（メタデータ） (2025-02-05T20:43:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。