論文の概要: Practical Online KV Cache Compaction for LLM Agents: An Empirical Study

• arxiv url: http://arxiv.org/abs/2608.00902v1
• Date: Sun, 02 Aug 2026 00:08:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:24.983679
• Title: Practical Online KV Cache Compaction for LLM Agents: An Empirical Study
• Title（参考訳）: LLMエージェントのオンラインKVキャッシュ圧縮 : 実証的研究
• Abstract要約: LLMエージェントは、推論ステップ、ツールコール、環境フィードバックの長い軌跡を蓄積し、KVキャッシュを主要な推論ボトルネックにする。 KVキャッシュの圧縮は、このコストを削減できるが、以前のほとんどのメソッドは、将来のクエリが知られているか、オフラインで近似できる静的コンテキストを前提としている。 トークン消去(TE)とアテンションマッチング(AM)によるオンライン圧縮について検討する。
• 参考スコア（独自算出の注目度）: 26.192522057926737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents accumulate long trajectories of reasoning steps, tool calls, and environment feedback, making the KV cache a major inference bottleneck. KV cache compaction can reduce this cost, but most prior methods assume a static context where future queries are known or can be approximated offline. Agents instead require online compaction: new information must be compressed before future relevance is known, using proxy queries cheap enough for the inference path. We study online compaction across token eviction (TE) and attention matching (AM), adapting both to compact agent turns and comparing cheap proxy sources such as boundary, repeat-prefill, and delayed future-generation queries. Experiments on BrowseComp-Plus and WideSearch show that immediate compaction often hurts performance, whereas delaying compaction to use the agent's future queries recovers much of the gap. Moreover, TE is often more robust than AM under imperfect proxies. Across models at different scales, TE preserves most of the accuracy while reducing KV cache by 80%, and can improve throughput over the no compaction baseline. These results position proxy-query selection as a core design choice for practical online KV compaction.
• Abstract（参考訳）: LLMエージェントは、推論ステップ、ツールコール、環境フィードバックの長い軌跡を蓄積し、KVキャッシュを主要な推論ボトルネックにする。 KVキャッシュの圧縮は、このコストを削減できるが、以前のほとんどのメソッドは、将来のクエリが知られているか、オフラインで近似できる静的コンテキストを前提としている。 エージェントは代わりに、オンライン圧縮を必要とする: 新しい情報は、将来の妥当性が知られる前に圧縮されなければならない。 トークン消去(TE)とアテンションマッチング(AM)によるオンライン圧縮について検討し、コンパクトエージェントのターンに適応し、バウンダリやリピートプレフィル、次世代クエリの遅延といった安価なプロキシソースを比較した。 BrowseComp-PlusとWideSearchの実験では、即時圧縮がパフォーマンスを損なう場合が多いが、エージェントの将来的なクエリを使用するための圧縮の遅延は、そのギャップの多くを回復する。 さらに、TEは不完全なプロキシ下ではAMよりも堅牢であることが多い。 TEは、異なるスケールのモデル全体で、KVキャッシュを80%削減しながら、ほとんどの精度を保ち、圧縮ベースラインを使わずにスループットを向上させることができる。 これらの結果から, プロキシクエリの選択を, オンラインKV圧縮のコア設計選択として位置づけることができた。

関連論文リスト

• BeaconKV: Key-Value Cache Compression Guided by Beacon Queries for Efficient Large Reasoning Model Inference [20.58039191111583]
  大型共振モデル (LRM) は拡張型チェイン・オブ・ソート (CoT) 生成により優れた問題解決を実現する。 その結果、キー値(KV)キャッシュはシーケンス長とともに線形に成長し、深刻なメモリボトルネックを発生させる。 本研究では,各グローバルなクエリクラスタに対して,Beaconクエリ,コンパクトな表現を格納する,トレーニング不要なKVキャッシュ圧縮手法であるBeaconKVを提案する。
  論文  参考訳（メタデータ） (2026-09-04T10:23:16Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Make Each Token Count: Towards Improving Long-Context Performance with KV Cache Eviction [65.710271475739]
  我々は,各トークンの将来のユーティリティを統一メモリ予算の下で学習する,グローバルな保持に基づくKV消去手法を提案する。 提案手法は,フルキャッシュ推論に適合したり,超えたりしながら,KVメモリを大幅に削減することを示す。 これらの結果から,世界規模で校正されたKV消去は圧縮技術であるだけでなく,長文推論を改善するメカニズムでもあることが示唆された。
  論文  参考訳（メタデータ） (2026-05-10T16:47:50Z)
• When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding? [19.77569541429818]
  投機的復号化はLLM推論を加速させるが、SOTAの隠れ状態に基づく起草者は長距離減衰に悩まされる。 我々はコンテキスト情報保存の観点から長距離減衰を再考する。 KVShotは3つの再利用パラダイムを比較する診断フレームワークである。
  論文  参考訳（メタデータ） (2026-04-29T08:25:01Z)
• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• Latent-Condensed Transformer for Efficient Long Context Modeling [60.72493959155964]
  大規模言語モデルに対するLCA(Latent-Condensed Attention)を提案する。 LCAはMLAの潜伏空間内のコンテキストを凝縮し、表現はセマンティック潜伏ベクトルと位置キーに切り離される。 LCAは、最大2.5$times$プリフィルスピードアップと128Kコンテキストでの90%のKVキャッシュ削減を実現している。
  論文  参考訳（メタデータ） (2026-04-14T08:40:31Z)
• CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference [3.1255988998610307]
  CSAttention(Centroid-Scoring Attention)は、高スループットコンテキストに最適化された訓練不要のスパースアテンション手法である。 計算処理を1回のオフラインプリフィルフェーズにフロントロードし、複数のクエリでアモートできる。 モデル精度と推論速度の両方において、最先端のスパースアテンション手法より一貫して優れている。
  論文  参考訳（メタデータ） (2026-03-30T01:42:29Z)
• RelayCaching: Accelerating LLM Collaboration via Decoding KV Cache Reuse [5.597099794399441]
  RelayCachingはトレーニング不要な推論手法で、前のエージェントから復号フェーズKVキャッシュを直接再利用する。 RelayCachingは80%以上のKVキャッシュの再利用を実現し、TTFTを標準パイプラインと比較して最大4.7倍のコストで削減できることを示す。
  論文  参考訳（メタデータ） (2026-02-28T04:46:28Z)
• Learning to Evict from Key-Value Cache [17.365511268829703]
  我々はKV Policyを紹介した。KV Policyはトークンのランク付けを学習するためのフレームワークであり、将来的な復号化に役立つと予測されている。 長文ベンチマークRULERとマルチターンダイアログベンチマークOASST2-4kの2種類のモデルファミリで評価した。 その結果、将来のトークンユーティリティを予測する学習は、適応的なKVキャッシュ管理のための強力でスケーラブルなパラダイムであることが示されている。
  論文  参考訳（メタデータ） (2026-02-10T19:34:15Z)
• Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective [31.67506313325633]
  KVキャッシュは、キー値(KV)ペアを以前のクエリから再利用することで、Large Language Model(LLM)推論を高速化する技術である。 デフォルトのLeast recently Used (LRU)消去アルゴリズムは、動的オンラインクエリの到着に苦労する。 我々は、KVキャッシュ消去とクエリルーティングのコアトレードオフをキャプチャする最初の統一数学的モデルを与える。
  論文  参考訳（メタデータ） (2026-01-26T22:20:59Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)
• UNComp: Can Matrix Entropy Uncover Sparsity? -- A Compressor Design from an Uncertainty-Aware Perspective [85.08718140718707]
  UNCompは不確実性を認識したフレームワークで、適応圧縮に使用できる空間パターンを明らかにする。 スパーシティパターンを詳細に分析する不確実性に注目して、UNCompはKVキャッシュサイズを4.74%に削減し、6%のプリフィルスピードアップを実現し、スループットを6.4倍改善した。
  論文  参考訳（メタデータ） (2024-10-04T02:32:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。