Fugu-MT 論文翻訳(概要): ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing

論文の概要: ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing

arxiv url: http://arxiv.org/abs/2605.08840v1
Date: Sat, 09 May 2026 09:49:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-12 23:28:49.923691
Title: ReST-KV: Robust KV Cache Eviction with Layer-wise Output Reconstruction and Spatial-Temporal Smoothing
Title（参考訳）: ReST-KV: 階層出力再構成と時空間平滑化を用いたロバストKVキャッシュ推定
Abstract要約: 大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュのメモリ要求の増加により、効率的な生成推論の課題に直面している。本稿では,階層的出力再構成と空間的空間的平滑化を組み合わせたロバストなKV消去手法であるReST-KVを提案する。
参考スコア（独自算出の注目度）: 41.23077900713446
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) face growing challenges in efficient generative inference due to the increasing memory demands of Key-Value (KV) caches, especially for long sequences. Existing eviction methods typically retain KV pairs with high attention weights but overlook the impact of attention redistribution caused by token removal, as well as the spatial-temporal dynamics in KV selection. In this paper, we propose ReST-KV, a robust KV eviction method that combines layer-wise output Reconstruction and Spatial-Temporal smoothing to provide a more comprehensive perspective for the KV cache eviction task. Specifically, ReST-KV formulates KV cache eviction as an optimization problem that minimizes output discrepancies through efficient layer-wise reconstruction. By directly modeling how each token's removal affects the model output, our method naturally captures attention redistribution effects, going beyond simplistic reliance on raw attention weights. To further enhance robustness, we design exponential moving average smoothing to handle temporal variations and an adaptive window-based mechanism to capture spatial patterns. Our method, ReST-KV, significantly advances performance on long-context benchmarks. It surpasses state-of-the-art baselines by 2.58% on LongBench and 15.2% on RULER. Additionally, ReST-KV consistently outperforms existing methods on Needle-in-a-Haystack and InfiniteBench, all while achieving a remarkable 10.61$\times$ reduction in decoding latency at 128k context length. The code is publicly available at https://github.com/an-yongqi/rest-kv to facilitate reproducibility and further research.
Abstract（参考訳）: 大規模言語モデル(LLM)は、キーバリュー(KV)キャッシュのメモリ要求の増加、特に長いシーケンスの増大により、効率的な生成推論の課題に直面している。既存の消去法では、KV対を高い注意重みで保持するが、トークン除去による注意再分配の影響やKV選択における空間的時間的ダイナミクスを見落としている。本稿では,階層的出力再構成と空間的空間的平滑化を組み合わせたロバストなKV消去手法であるReST-KVを提案する。特に、ReST-KVはKVキャッシュの消去を最適化問題として定式化し、効率的な層分割による出力差を最小化する。それぞれのトークンの除去がモデル出力にどのように影響するかを直接モデル化することにより、本手法は注意再分配効果を自然に捉え、生の注意重みに依存する。さらにロバスト性を高めるため,時間変動に対処する指数的移動平均平滑化と空間パターンを捉える適応型ウィンドウベース機構を設計した。提案手法であるReST-KVは,長文ベンチマークの性能を著しく向上させる。最先端のベースラインを超え、ロングベンチでは2.58%、RULERでは15.2%となっている。さらに、ReST-KVは、Needle-in-a-HaystackとInfiniteBenchの既存のメソッドを一貫して上回り、128kのコンテキスト長でのデコード遅延の削減を10.61$\times$で達成している。コードはhttps://github.com/an-yongqi/rest-kvで公開されている。

関連論文リスト

CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文参考訳（メタデータ） (2026-08-31T06:02:37Z)
ART: Attention Run-time Termination for Efficient Large Language Model Decoding [7.365525319097287]
LLM(Long-context Decoding in Large Language Models)は、キーバリュー(KV)キャッシュへのアクセスと処理のコストによって制約される。本稿では,カーネル実行時のアテンション出力の追跡を行う軽量な実行時機構であるAttention Run-time Termination(ART)を提案する。 LongBenchおよびRULER Needle-in-a-Haystackタスクの実験では、ARTが既存のKV-cacheメソッドの生成スループットを最大20%向上することが示された。
論文参考訳（メタデータ） (2026-04-15T06:55:14Z)
DeltaKV: Residual-Based KV Cache Compression via Long-Range Similarity [50.52392445266824]
そこで本稿では,KV表現における長距離間類似性と高共有遅延成分を動機とする残差ベースのKVキャッシュ圧縮フレームワークを提案する。 DeltaKVはトークンを捨てる代わりに、検索した履歴参照に対するセマンティックな残基をエンコードし、保存を著しく削減する。実験によると、DeltaKVは、LongBench、SCBench、AIMEでほぼロスレスの精度を維持しながら、KVキャッシュメモリを元の29%に削減している。
論文参考訳（メタデータ） (2026-02-08T15:14:36Z)
ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
論文参考訳（メタデータ） (2026-02-03T07:16:51Z)
LouisKV: Efficient KV Cache Retrieval for Long Input-Output Sequences [12.093166735658626]
キーバリュー(KV)キャッシュは、自動回帰モデルにおける冗長な計算の削減に成功している。メモリオーバーヘッドが大幅に増加し、長時間のシナリオでの実際のデプロイメントが制限される。既存のKV検索手法は,ページ単位の検索やページ単位の粗いKV管理によって,顕著な効率性と精度のボトルネックに悩まされている。
論文参考訳（メタデータ） (2025-10-13T11:28:30Z)
SparK: Query-Aware Unstructured Sparsity with Recoverable KV Cache Channel Pruning [33.149133156465474]
大規模言語モデルにおける長文推論は、KVキャッシュのボトルネックによってますます制限される。チャネルレベルでKVをプルーニングすることで、非構造化空間を適用できる訓練不要なプラグアンドプレイ手法であるSPARKを提案する。 SPARKはチャネルレベルの冗長性を低減し、同じメモリ予算内で長いシーケンスの処理を可能にする。
論文参考訳（メタデータ） (2025-08-21T03:48:28Z)
Retrospective Sparse Attention for Efficient Long-Context Generation [5.562294018150909]
RetroAttentionは、後続の復号ステップから新たに到着したKVエントリを使用して、過去の注意出力を遡及的に更新する。これは固定アテンション・アウトプットのパラダイムを破り、事前近似の継続的な修正を可能にする。実験により、RetroAttention は最先端(SOTA) KV 圧縮法より一貫して優れていることが示された。
論文参考訳（メタデータ） (2025-08-12T15:11:47Z)
KV-Latent: Dimensional-level KV Cache Reduction with Frequency-aware Rotary Positional Embedding [72.12756830560217]
Transformer Decodersをベースとした大規模言語モデル(LLM)が、会話生成AIの選択肢として好まれている。デコーダアーキテクチャの全体的な優位性にもかかわらず、推論中にキーバリューキャッシュが徐々に増加し、主要な効率ボトルネックとなっている。キーバリューベクトル次元を潜在空間にダウンサンプリングすることで、KVキャッシュのフットプリントを大幅に削減し、推論速度を向上させることができる。
論文参考訳（メタデータ） (2025-07-15T12:52:12Z)
KeepKV: Eliminating Output Perturbation in KV Cache Compression for Efficient LLMs Inference [16.53643930310808]
KeepKVは、厳しいメモリ制約下で性能を保ちながら出力摂動を排除するために設計された、新しい適応KVキャッシュマージ手法である。 KeepKVはメモリ使用量を大幅に削減し、推論スループットを2倍以上に向上し、10%のKVキャッシュ予算でも優れた生成品質を維持している。
論文参考訳（メタデータ） (2025-04-14T06:58:00Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。