論文の概要: RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation
- arxiv url: http://arxiv.org/abs/2608.08684v1
- Date: Sun, 09 Aug 2026 13:01:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.915371
- Title: RippleKV: Cross-Layer KV Cache Allocation via Perturbation Propagation
- Title（参考訳）: RippleKV: 摂動伝搬によるクロス層KVキャッシュ割り当て
- Abstract要約: 本稿では,各レイヤの値キャッシュに対する摂動が最終予測分布に与える影響を推定し,層間キャッシュを割り当てるRippleKVを提案する。
RippleKVは、キャッシュ予算に適合した評価KVキャッシュ圧縮手法の中で、最も高い平均性能を達成する。
- 参考スコア（独自算出の注目度）: 6.31074726504356
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Long-context LLM inference is bottlenecked by KV cache memory, yet distributing a limited cache budget across layers remains challenging. Existing methods rely on proxies such as layer depth, attention statistics, or representation change. These proxies do not measure how perturbations at each layer propagate to the output and may therefore cause sensitive layers to be underallocated while tolerant layers are overallocated. To address this issue, we propose RippleKV, which allocates cache across layers by estimating how perturbations to each layer's value cache affect the final predictive distribution. RippleKV independently injects norm-adaptive perturbations into each layer's value cache and measures the induced KL divergence at the model output over a small calibration set. Averaging these responses yields a sensitivity profile specific to the model that need not vary monotonically with depth. RippleKV then converts the sensitivity profile into layer budget multipliers by normalizing the sensitivity scores and applying an exponential mapping. A ratio parameter controls the allocation disparity between sensitive and tolerant layers, while a final normalization preserves the KV cache budget. Experiments on LongBench demonstrate that RippleKV achieves the highest average performance among the evaluated KV cache compression methods under matched cache budgets.
- Abstract（参考訳）: 長いコンテキストのLLM推論はKVキャッシュメモリによってボトルネックになるが、レイヤ間で限られたキャッシュ予算を分散することは依然として困難である。
既存の手法は、層深度、注意統計、表現変化といったプロキシに依存している。
これらのプロキシは、各層での摂動が出力にどのように伝播するかを測定しておらず、従って、寛容な層が包接化されている間に、センシティブな層が過度に配置される可能性がある。
この問題に対処するために、各レイヤの値キャッシュに対する摂動が最終的な予測分布に与える影響を推定することにより、レイヤ間でキャッシュを割り当てるRippleKVを提案する。
RippleKVは、各層の値キャッシュに標準適応摂動を独立に注入し、小さなキャリブレーションセット上でのモデル出力における誘導KLばらつきを測定する。
これらの反応を平均すると、深度で単調に変化する必要のないモデル特有の感度プロファイルが得られる。
次に、RippleKVは感度プロファイルを感度スコアを正規化し指数写像を適用することで、層予算乗算器に変換する。
比パラメータは、感度層と耐久層の間の割り当て格差を制御し、最終的な正規化はKVキャッシュ予算を保存する。
LongBenchの実験では、整合したキャッシュ予算の下で評価されたKVキャッシュ圧縮手法の中で、RippleKVが最高平均性能を達成することを示した。
関連論文リスト
- DepthWeave-KV: Token-Adaptive Cross-Layer Residual Factorization for Long-Context KV Cache Compression [0.0]
DepthWeave-KVはトークン適応型キャッシュ圧縮手法で、近隣のトランスフォーマー層にまたがるキーと値の状態を分解する。
DepthWeave-KVは、メモリ使用量を大幅に削減した、ほぼ完全なタスク品質を実現する。
論文 参考訳（メタデータ） (2026-07-07T17:29:01Z) - DepthKV: Layer-Dependent KV Cache Pruning for Long-Context LLM Inference [11.462434448123169]
感性に基づいて,各層に固定されたグローバルKV予算を割り当てる階層依存型プルーニングフレームワークを提案する。
複数のモデルとタスクにわたって、DepthKVは、同じグローバルプルーニング比で一様プルーニングを一貫して上回っている。
論文 参考訳（メタデータ） (2026-04-27T16:15:37Z) - Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。
LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。
LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
論文 参考訳（メタデータ） (2026-04-14T08:40:31Z) - LayerCache: Exploiting Layer-wise Velocity Heterogeneity for Efficient Flow Matching Inference [11.772150619675527]
Flow Matching Modelは、最先端の画像生成の品質を実現するが、大きなTransformerネットワークを反復的にデノイングすることで、かなりの推論コストを発生させる。
トランスフォーマーをレイヤグループに分割し、各denoisingステップで独立したグループごとのキャッシュ決定を行う、レイヤ対応のキャッシュフレームワークであるLayerCacheを提案する。
Qwen-Image (1024x1024, 50 steps)では、LayerCacheはPSNR 37.46 dB (+5.38 dB over MeanCache)、SSIM 0.9834、LPIPS 0.0178 (MeanCacheの70%削減)を1.37倍のスピードアップで達成している。
論文 参考訳（メタデータ） (2026-04-13T15:44:24Z) - Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。
KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。
本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
論文 参考訳（メタデータ） (2026-04-03T14:56:17Z) - CommonKV: Compressing KV Cache with Cross-layer Parameter Sharing [54.34080239841088]
CommonKVは、隣接パラメータ共有による層間KVキャッシュ圧縮のトレーニング不要な方法である。
提案手法は,様々な圧縮比で既存の低ランクおよびクロスレイヤーの手法より一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-08-22T06:55:45Z) - ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。
キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。
本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
論文 参考訳（メタデータ） (2025-05-30T08:49:27Z) - DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。
残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。
提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
論文 参考訳（メタデータ） (2025-02-24T06:33:39Z) - ZigZagkv: Dynamic KV Cache Compression for Long-context Modeling based on Layer Uncertainty [35.947737679664016]
推論長が増加するにつれて、KVキャッシュの増加はメモリ外問題を引き起こす可能性がある。
本稿では,各層に予算規模を割り当てるために,層不確実性を利用した簡易かつ効果的なKVキャッシュ圧縮手法を提案する。
実験の結果,提案手法はフルKV推定と比較して,KVキャッシュのメモリ使用量を$sim$20%に削減できることがわかった。
論文 参考訳（メタデータ） (2024-12-12T07:52:56Z) - PrefixKV: Adaptive Prefix KV Cache is What Vision Instruction-Following Models Need for Efficient Generation [97.41972925670508]
大規模視覚言語モデル(LVLM)は、推論中に重要な計算とメモリオーバーヘッドを引き起こす。
ここでは、PrefixKVについて述べる。ここでは、Prefixは、元のシーケンスの位置ではなく、重要度に基づいて、上位ランクのKVを意味する。
本手法は他の手法と比較して最先端の性能を実現する。
論文 参考訳（メタデータ） (2024-12-04T15:48:59Z) - LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。
この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。
そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。
本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
論文 参考訳（メタデータ） (2024-10-04T03:10:53Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。