論文の概要: Moment-KV: Momentum-Based Decode-Time KV Cache Compression for Long Generation
- arxiv url: http://arxiv.org/abs/2605.29873v1
- Date: Thu, 28 May 2026 12:56:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.256094
- Title: Moment-KV: Momentum-Based Decode-Time KV Cache Compression for Long Generation
- Title（参考訳）: モーメントKV:モーメントベースデコード時間KVキャッシュの長期圧縮
- Abstract要約: キーバリュー(KV)キャッシュは、長期的なタスクでLLM(Large Language Models)をデプロイする上で、依然として大きなボトルネックとなっている。
モーメント-KVはモーメント駆動時間アテンションアグリゲーションに基づく復号時間KVキャッシュ圧縮法である。
- 参考スコア（独自算出の注目度）: 2.497926557563177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Key-Value (KV) cache remains a major bottleneck for deploying Large Language Models (LLMs) in long-generation tasks. Prior work often applies uniform compression across both prefill and decoding caches, but compressing the prefill cache degrades performance by corrupting critical context. While preserving the prefill cache is essential, decoding-phase compression remains underexplored, with existing methods relying on rigid recency windows or instantaneous attention. Our analysis of attention dynamics reveals strong temporal patterns: critical tokens receive sustained attention over long horizons, while local reasoning involves short-lived bursts. Static heuristics fail to capture this behavior, leading to premature eviction of important tokens or retention of stale ones. We propose Moment-KV, a decoding-time KV cache compression method based on momentum-driven temporal attention aggregation. Our method models token importance as a continuously evolving state, where attention is aggregated with decay, capturing both long-term influence and recent relevance. Experiments show that Moment-KV significantly improves generation fidelity in long-generation tasks (2.3-3.2 %) while maintaining decoding latency.
- Abstract（参考訳）: キーバリュー(KV)キャッシュは、長期的なタスクでLLM(Large Language Models)をデプロイする上で、依然として大きなボトルネックとなっている。
以前の作業では、プリフィルキャッシュとデコードキャッシュの両方に一様圧縮を適用することが多いが、プリフィルキャッシュを圧縮することは、クリティカルコンテキストを損なうことによってパフォーマンスを低下させる。
プリフィルキャッシュの保存は不可欠であるが、デコード・フェーズの圧縮は未解決のままであり、既存の手法では厳格な遅延ウィンドウや瞬時に注意を払っている。
臨界トークンは長い地平線上で持続的な注意を受ける一方、局所的な推論は短寿命のバーストを伴う。
静的ヒューリスティックスは、この振る舞いを捉えることができず、重要なトークンの早期の排除や、古いトークンの保持につながる。
モーメント-KVはモーメント駆動時間アテンションアグリゲーションに基づく復号時間KVキャッシュ圧縮法である。
本手法は, 長期的影響と近年の関連性の両方を捉え, 注意を減衰で集約する連続的発展状態として重要度を示唆する。
実験により、Moment-KVはデコードレイテンシを保ちながら、長期タスク(2.3-3.2 %)の生成精度を著しく向上することが示された。
関連論文リスト
- CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳（メタデータ） (2026-08-31T06:02:37Z) - VoxZip: Semantic-Anchored Temporal KV Cache Compression for Long-Context Audio Inference [53.883871460875234]
VoxZipは、セマンティックアンコールされたKVキャッシュ圧縮フレームワークである。
第1段階では、音声トークンを時間的に調整、圧縮、融合するために明示的なセマンティックアンカーとして自動音声認識(ASR)文字を使用する。
第2段階では、時間的に減衰した蓄積された注意に基づいて動的フィルタリング戦略を採用し、非定常トークンを除去する。
論文 参考訳（メタデータ） (2026-08-09T08:17:18Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - Kwai Summary Attention Technical Report [69.40814939510126]
長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。
標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。
歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
論文 参考訳（メタデータ） (2026-04-27T12:59:53Z) - RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction [3.2907393353763243]
既存のKVキャッシュ圧縮手法は、トークンをプルーする「重要度」仮説に依存している。
状態空間モデルに基づく「離散的コンテキストトランケーション」から「連続的メモリ進化」へのKV消去を再構成するエントロピー駆動型KVキャッシュ最適化手法であるRetentiveKVを提案する。
論文 参考訳（メタデータ） (2026-04-14T08:17:53Z) - HeteroCache: A Dynamic Retrieval Approach to Heterogeneous KV Cache Compression for Long-Context LLM Inference [14.17979669446161]
トレーニング不要な動的圧縮フレームワークであるHeteroCacheを提案する。
We show that HeteroCache achieves state-of-the-art performance on multiple long-context benchmarks and accelerates decoding by up $3times$ in the original model in the 224K context。
論文 参考訳（メタデータ） (2026-01-20T07:35:06Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳（メタデータ） (2026-01-07T19:51:06Z) - G-KV: Decoding-Time KV Cache Eviction with Global Attention [57.47409249054187]
大規模言語モデル(LLM)は複雑なタスクに優れるが、長いシーケンス長のため、計算とメモリの重大な課題に遭遇する。
KVキャッシュ圧縮は推論の効率を大幅に向上させる効果的な手法として登場した。
本稿では,グローバルスコアリング機構を用いたKVキャッシュ消去手法であるG-KVを提案する。
論文 参考訳（メタデータ） (2025-11-29T14:21:33Z) - Retrospective Sparse Attention for Efficient Long-Context Generation [5.562294018150909]
RetroAttentionは、後続の復号ステップから新たに到着したKVエントリを使用して、過去の注意出力を遡及的に更新する。
これは固定アテンション・アウトプットのパラダイムを破り、事前近似の継続的な修正を可能にする。
実験により、RetroAttention は最先端(SOTA) KV 圧縮法より一貫して優れていることが示された。
論文 参考訳（メタデータ） (2025-08-12T15:11:47Z) - Dialogue Without Limits: Constant-Sized KV Caches for Extended Responses in LLMs [6.222287867011644]
精度を保ちながら一定サイズのKVキャッシュを維持する推論時間手法であるMorphKVを提案する。
保持や損失圧縮とは異なり、MorphKVは最近のトークンの注意パターンによってガイドされる軽量更新を通じてKVキャッシュを反復的に洗練する。
我々の研究では、52.9$%のメモリセーブと18.2$%の精度が、最先端の先行研究と比較して高いことを示している。
論文 参考訳（メタデータ） (2025-03-02T18:12:50Z) - AttentionPredictor: Temporal Patterns Matter for KV Cache Compression [64.75459635661562]
我々は,KVキャッシュ圧縮とクリティカルトークン識別のための注意パターンを直接予測する,学習に基づく最初の手法であるAttentionPredictorを提案する。
AttentionPredictorは、注意スコアを正確に予測し、無視可能なメモリを消費する統一予測モデルを共有する。
注意情報の大半を保持することで、AttentionPredictorは、キャッシュオフロードシナリオで13$times$KVキャッシュ圧縮と5.6$times$スピードアップを達成する。
論文 参考訳（メタデータ） (2025-02-06T13:41:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。