論文の概要: MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference

• arxiv url: http://arxiv.org/abs/2607.10582v1
• Date: Sun, 12 Jul 2026 05:35:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 15:40:48.472998
• Title: MemDecay: Region-Aware KV Cache Eviction for Efficient LLM Agent Inference
• Title（参考訳）: MemDecay: 効率的なLLMエージェント推論のための領域対応KVキャッシュ推定
• Abstract要約: トレーニングフリーで地域対応のKV-cache消去ポリシーであるMemDecayを紹介する。 MemDecayは、トークンにリージョン固有のベース優先順位と崩壊率を割り当て、トークンが注意を引いたときに保持スコアをリフレッシュし、固定キャッシュ予算の下で最低レベルのページを削除します。 Qwen2.5-1.5B と 3B を用いて約450 と 1,700 のトークンコンテキストで MemDecay を評価する。
• 参考スコア（独自算出の注目度）: 0.880899367147235
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model (LLM) agents accumulate heterogeneous context, including system instructions, plans, user turns, retrieved documents, tool outputs, and intermediate reasoning, whose key-value (KV) cache can become a major memory bottleneck. Existing eviction policies generally apply the same attention- or recency-based rule to every token, ignoring semantic structure already available to the agent orchestrator. We introduce MemDecay, a training-free, region-aware KV-cache eviction policy. MemDecay assigns tokens region-specific base priorities and decay rates, refreshes retention scores when tokens receive attention, and evicts the lowest-scoring pages under a fixed cache budget while allowing critical regions to be pinned. We also provide a procedure for calibrating decay rates from measured attention lifetimes. We evaluate MemDecay at approximately 450 and 1,700 token contexts using Qwen2.5-1.5B and 3B. Across all settings, attention lifetimes differ by an order of magnitude across regions: system-token half-lives range from 148 to 189 decoding steps, compared with 14 to 16 for scratchpad tokens. Pinning preserves system-region facts at full-cache accuracy in every setting, while no baseline preserves more than 13 of 24. Region-aware retention remains effective as context grows, whereas recency-based retention collapses. Accumulated-attention retention performs better on unpinned content, however, and ablations identify attention-score normalization as the main limitation of the current formulation. These results establish semantic prompt structure as a robust signal for KV-cache management while clarifying how it should be combined with attention-based importance.
• Abstract（参考訳）: 大規模言語モデル(LLM)エージェントは、システム命令、計画、ユーザターン、検索されたドキュメント、ツール出力、中間推論などの異種コンテキストを蓄積し、キー値(KV)キャッシュが主要なメモリボトルネックとなる。 既存の排除ポリシーは一般的に、エージェントオーケストレータで既に利用可能なセマンティック構造を無視して、すべてのトークンに同じ注意または傾向に基づくルールを適用する。 トレーニングフリーで地域対応のKV-cache消去ポリシーであるMemDecayを紹介する。 MemDecayは、トークンにリージョン固有の基本優先度と崩壊率を割り当て、トークンが注意を引いたときに保持スコアをリフレッシュし、重要なリージョンをピン留めしながら、固定されたキャッシュ予算の下で最低レベルのページを削除します。 また、測定された注目寿命から減衰率を算定する手法も提供する。 Qwen2.5-1.5B と 3B を用いて約450 と 1,700 のトークンコンテキストで MemDecay を評価する。 システムトークンの半減期は148から189のデコードステップで、スクラッチパッドトークンは14から16である。 ピンニングはすべての設定においてシステム領域の事実をフルキャッシュの精度で保存するが、ベースラインは24の13以上保持しない。 地域を意識した保持は、文脈が大きくなるにつれて有効であり、一方、傾向に基づく保持は崩壊する。 しかし、蓄積されたアテンション保持は、アンピンドコンテンツに対してより良く働き、アブレーションは注意スコア正規化を現在の定式化の主要な制限として認識する。 これらの結果は,KV-cache管理の堅牢なシグナルとして意味的プロンプト構造を確立し,注意に基づく重要性と組み合わせるべきかを明らかにした。

関連論文リスト

• What Matters for Aggressive Decoding-Time KV Eviction? Temporal Aggregation and Ranking Preservation [7.418932089055928]
  指数移動平均(EMA)アグリゲーション(英語版)は、約オーダー保存スコアラの修正を消去セットレベルで大きく区別できない。 我々は,EMAに基づく復号時間消去手法であるInertiaKVと,その周期的復号法であるInertia KV-Lazyを導入し,その復号スループットを1.34-1.46xとする。 6つのオープンウェイトなバックボーンとLongBench、LongBench-v2、RULERベンチマークで、結果は時間的アグリゲーションとランキング保存を、連続した設計要素として識別する。
  論文  参考訳（メタデータ） (2026-09-03T08:17:34Z)
• CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
  ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。 Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
  論文  参考訳（メタデータ） (2026-08-31T06:02:37Z)
• QEvict: Recoverable Quantized KV Eviction for Attention-Drift-Robust Long-Context Decoding [13.920782070418246]
  生成したクエリが進化するにつれてトークンとウィンドウの重要度が低下し、標準的な消去ポリシーが状態を恒久的に破棄することを示した。 本稿では、リカバリ可能なリカバリでリカバリ可能なリカバリを代替する3層KV-cache管理方式であるQEvictを提案する。
  論文  参考訳（メタデータ） (2026-08-05T18:29:47Z)
• Remembering Distinct Items, Not Tokens: A Learnable Dirichlet-Process Cache Between State-Space Models and Attention [0.48342038441006796]
  本稿では,入力が新規である場合にのみスロットを割り当てるスパースキャッシュについて検討する。 固定濃度の静的キャッシュと,最近の新規性率に追従したサプライズ適応変種という2つの形態で開発する。
  論文  参考訳（メタデータ） (2026-07-10T18:28:21Z)
• Coverage-Driven KV Cache Eviction for Efficient and Improved Inference of LLM [12.14455026524814]
  大きな言語モデル(LLM)は、質問応答や要約のような複雑なタスクに優れています。 既存のKV-cache消去戦略は、トークンのサブセットを選択的に格納するために注意の疎さを活用する。 K-VECは、キャッシュ内のトークンを排除しながらトークンのカバレッジを優先する、新しいカバレッジ対応KV-cache消去戦略である。
  論文  参考訳（メタデータ） (2026-06-28T19:04:47Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• FASA: Frequency-aware Sparse Attention [56.26881872333624]
  本稿では,トークンの重要度を動的に予測することで,クエリ対応のトークン消去を実現する新しいフレームワークであるFASAを提案する。 我々の重要な発見は、小さな「支配的」FCの特定可能なサブセットが、常に注目の頭文字と高い文脈の一致を示すことである。 長いコンテキストのタスクのスペクトル全体にわたって、FASAは全てのトークン放出ベースラインを一貫して上回り、ニアオラクル精度を達成する。
  論文  参考訳（メタデータ） (2026-02-03T06:09:06Z)
• Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
  大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。 KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。 ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
  論文  参考訳（メタデータ） (2025-09-13T03:34:12Z)
• In-context KV-Cache Eviction for LLMs via Attention-Gate [12.732519329131392]
  KVキャッシュ技術は、大規模言語モデル(LLM)の推論の標準となっている。 本稿では,Attention-Gateと呼ばれる軽量モジュールをモデルに注入することで,KVキャッシュの動的な消去ポリシーを実現する。 提案手法は複数のシナリオにまたがって実験的に評価され,冗長トークンの有効排除は効率を向上するだけでなく,性能も向上することを示した。
  論文  参考訳（メタデータ） (2024-10-15T05:01:19Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。