Fugu-MT 論文翻訳(概要): RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction

論文の概要: RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction

arxiv url: http://arxiv.org/abs/2605.04075v1
Date: Tue, 14 Apr 2026 08:17:53 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-11 06:56:26.57344
Title: RetentiveKV: State-Space Memory for Uncertainty-Aware Multimodal KV Cache Eviction
Title（参考訳）: RetentiveKV: 不確実性を考慮したマルチモーダルKVキャッシュのステートスペースメモリ
Authors: Sihao Liu, YuFan Xiong, Zhonghua Jiang, Zhaode Wang, chengfei lv Shengyu Zhang,
Abstract要約: 既存のKVキャッシュ圧縮手法は、トークンをプルーする「重要度」仮説に依存している。状態空間モデルに基づく「離散的コンテキストトランケーション」から「連続的メモリ進化」へのKV消去を再構成するエントロピー駆動型KVキャッシュ最適化手法であるRetentiveKVを提案する。
参考スコア（独自算出の注目度）: 3.2907393353763243
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Multimodal Large Language Models face severe challenges in computational efficiency and memory consumption due to the substantial expansion of the visual KV cache when processing long visual contexts. Existing KV cache compression methods typically rely on the "persistence of importance" hypothesis to prune tokens. However, this approach proves fragile in multimodal settings due to two key issues: 1) Visual tokens display "deferred importance," initially exhibiting low salience but becoming pivotal during later decoding, which can lead to premature eviction. 2) Discrete pruning disrupts the inherent spatial continuity of visual cues. To address these challenges, we propose RetentiveKV, an entropy-driven KV cache optimization method that reformulates KV eviction from "discrete context truncation" to "continuous memory evolution" based on State Space Models. Our method leverages information entropy to quantify the information potential of low-attention tokens and integrates tokens scheduled for eviction into a continuous state space through entropy-guided state transitions, enabling their dynamic reactivation when semantic relevance arises during subsequent decoding. Extensive experiments on multimodal benchmarks demonstrate that RetentiveKV achieves 5.0 times KV cache compression and 1.5 times decoding acceleration.
Abstract（参考訳）: マルチモーダル大規模言語モデルは、長い視覚的コンテキストを処理する際に、視覚的KVキャッシュが大幅に拡張されるため、計算効率とメモリ消費において深刻な課題に直面している。既存のKVキャッシュ圧縮法は、通常、プルートークンに対する「重要度」仮説に依存している。しかし、このアプローチは2つの主要な問題により、マルチモーダル設定の脆弱さを証明している。 1) 視覚トークンは「遅延重要度」を示し, 当初は塩分濃度が低いが, 復号時に重要度が高くなり, 早期の消去につながる可能性がある。 2)離散プルーニングは視覚的手がかりの空間的連続性を阻害する。これらの課題に対処するために、状態空間モデルに基づく「離散的コンテキストトランケーション」から「連続的メモリ進化」へのKV消去を再構成するエントロピー駆動型KVキャッシュ最適化手法であるRetentiveKVを提案する。提案手法は,情報エントロピーを利用して,低アテンショントークンの情報ポテンシャルを定量化し,エントロピー誘導状態遷移を通じて,有効期限付きトークンを連続状態空間に統合する。マルチモーダルベンチマークの大規模な実験により、RetentiveKVは5.0倍のKVキャッシュ圧縮と1.5倍のデコード高速化を達成した。

関連論文リスト

Where Matters More Than What: Decoding-aligned KV Cache Compression via Position-aware Pseudo Queries [39.38028687042293]
キーバリュー(KV)キャッシュは、効率的なLarge Language Models(LLM)推論に不可欠である。既存のKVキャッシュ圧縮手法は、プリフィル段階でトークンの重要性を推定するために入力側注意パターンに依存している。位置認識型擬似クエリ(DapQ)を提案し,位置認識型擬似クエリによるKVキャッシュ圧縮を近似する。
論文参考訳（メタデータ） (2026-03-12T05:36:32Z)
ForesightKV: Optimizing KV Cache Eviction for Reasoning Models by Learning Long-Term Contribution [84.41751286055909]
我々は、長文世代におけるどのKVペアを退避させるかを予測する訓練ベースのKVキャッシュ消去フレームワークを開発した。我々は、マルコフ決定過程としてキャッシュ消去を定式化し、GRPOアルゴリズムを適用し、低エントロピートークンにおける言語モデリング損失の増加を緩和する。
論文参考訳（メタデータ） (2026-02-03T07:16:51Z)
Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。 TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文参考訳（メタデータ） (2025-12-10T01:54:57Z)
Retrospective Sparse Attention for Efficient Long-Context Generation [5.562294018150909]
RetroAttentionは、後続の復号ステップから新たに到着したKVエントリを使用して、過去の注意出力を遡及的に更新する。これは固定アテンション・アウトプットのパラダイムを破り、事前近似の継続的な修正を可能にする。実験により、RetroAttention は最先端(SOTA) KV 圧縮法より一貫して優れていることが示された。
論文参考訳（メタデータ） (2025-08-12T15:11:47Z)
FAEDKV: Infinite-Window Fourier Transform for Unbiased KV Cache Compression [18.12657364501536]
FAEDKVは、トレーニング不要のKVキャッシュ圧縮フレームワークである。初期の情報と最近の情報の両方を保存している。 LongBenchベンチマークの実験では、FAEDKVは既存のメソッドよりも最大22%優れていた。
論文参考訳（メタデータ） (2025-07-26T18:20:25Z)
LazyEviction: Lagged KV Eviction with Attention Pattern Observation for Efficient Long Reasoning [21.761205124793175]
拡張推論シーケンスでは、キー値(KV)キャッシュの増加によるGPUメモリオーバーヘッドが大幅に増加する。既存のKVキャッシュ圧縮手法は、メモリボトルネックを軽減するが、長い推論タスクに苦労する。トークンの繰り返しパターンに基づいた優先順位付けによる遅延繰り返しトークンを保持する観測窓ベースのラッチ消去フレームワークであるLazyEvictionを提案する。
論文参考訳（メタデータ） (2025-06-19T02:25:04Z)
dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
論文参考訳（メタデータ） (2025-05-21T17:32:10Z)
FlowKV: Enhancing Multi-Turn Conversational Coherence in LLMs via Isolated Key-Value Cache Management [48.904743679691414]
FlowKVはKVキャッシュ管理のための新しいマルチターン分離機構である。蓄積された圧縮KVキャッシュを過去のターンから保存する。古い文脈の再圧縮を防ぎ、破滅的な忘れを和らげる。
論文参考訳（メタデータ） (2025-05-21T10:20:46Z)
Compressing KV Cache for Long-Context LLM Inference with Inter-Layer Attention Similarity [24.118503938098307]
textscPoDはトークンの重要度に応じてメモリを割り当てる。 textscPoDは、パフォーマンスを損なうことなく、KVキャッシュメモリ使用量を最大35%削減する。
論文参考訳（メタデータ） (2024-12-03T08:29:27Z)
ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文参考訳（メタデータ） (2024-07-30T17:59:08Z)
Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
論文参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。