論文の概要: ActKV: Efficient LLM Agents through Action-Guided KV Cache Management

• arxiv url: http://arxiv.org/abs/2609.31395v1
• Date: Fri, 25 Sep 2026 15:24:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.455938
• Title: ActKV: Efficient LLM Agents through Action-Guided KV Cache Management
• Title（参考訳）: ActKV:アクションガイドKVキャッシュ管理による効率的なLLMエージェント
• Abstract要約: ActKVはエージェントLSM推論に適した圧縮フレームワークである。 安定したアクションアクセスパターンを利用して、将来のアクションに不可欠なエントリを保持する。 また、FullKVのトークンとタスクのスループットを3.97回、3.58回達成し、最先端のパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 19.72869748471766
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Agentic LLM inference accumulates long KV caches across iterative observation-reasoning-action loops, imposing substantial memory overhead and limiting serving throughput. Existing compression methods emphasize overall output quality, overlooking the asymmetric importance of actions in driving task progress. Our key idea is to establish a compression criterion that values KV entries by their contribution to action generation and prioritizes action quality. However, iterative execution, dynamic memory demands, and scattered action-critical entries pose challenges to eviction policies, budget allocation, and paged memory integration. To this end, we propose ActKV, the first KV cache compression framework tailored for agentic LLM inference. (i) Action-oriented KV cache eviction exploits stable action access patterns to retain entries critical to future actions, supporting reliable task progress under compression. (ii) Confidence-driven adaptive budget allocation uses LLM's intrinsic confidence to adapt the budget to evolving action-critical memory demands. (iii) Page-aware compression management standardizes compression into three primitives with customized kernels, realizing practical throughput gains. On long-trace tasks, ActKV retains an average of 98.53% of FullKV's accuracy with only 25.98% of its peak KV cache memory. It also achieves 3.97 times and 3.58 times FullKV's token and task throughput, delivering state-of-the-art performance.
• Abstract（参考訳）: エージェントLDM推論は、反復的な観察・推論・アクションループに長いKVキャッシュを蓄積し、メモリオーバーヘッドを大幅に減らし、スループットを制限します。 既存の圧縮手法は、タスクの進行を駆動する際の動作の非対称的な重要性を見越して、全体的な出力品質を強調する。 私たちのキーとなる考え方は、KVエントリをアクション生成への貢献によって評価し、アクション品質を優先する圧縮基準を確立することです。 しかし、反復実行、動的メモリ要求、そして散在するアクションクリティカルなエントリは、退行ポリシー、予算配分、ページメモリ統合に挑戦する。 この目的のために,エージェントLLM推論に適した最初のKVキャッシュ圧縮フレームワークであるActKVを提案する。 (i)アクション指向KVキャッシュ消去は、安定したアクションアクセスパターンを利用して、将来のアクションに不可欠なエントリを保持し、圧縮下での信頼性の高いタスク進捗をサポートする。 (II)信頼性駆動型適応型予算配分は、LCMの本質的な信頼を利用して、その予算を行動クリティカルなメモリ要求の進化に適応させる。 (3)ページ認識圧縮管理は、カーネルをカスタマイズした3つのプリミティブに圧縮を標準化し、実用的なスループット向上を実現する。 長いトレースタスクでは、ActKVは最大KVキャッシュメモリの25.98%しか持たず、FullKVの精度の98.53%を保っている。 また、FullKVのトークンとタスクのスループットを3.97回、3.58回達成し、最先端のパフォーマンスを提供する。

関連論文リスト

• StepKV: Step-Aware KV Cache Compression for LLM Agents [48.99760785589948]
  キーバリュー(KV)キャッシングは、効率的な自己回帰型大言語モデル(LLM)推論に不可欠である。 KVキャッシュ圧縮はこのコストを軽減し、キャッシュされたトークンのサブセットだけを保持する。 StepKVは、推論ステップをファーストクラスの保持ユニットとして扱うことで、この目標に対処する。
  論文  参考訳（メタデータ） (2026-08-26T11:22:58Z)
• LKV: End-to-End Learning of Head-wise Budgets and Token Selection for LLM KV Cache Eviction [46.60403085398673]
  本稿では,KV圧縮をエンドツーエンドの微分可能最適化問題として定式化するLKV(Learned KV Eviction)を提案する。 LKVは、LongBenchベンチマークとRULERベンチマークの両方で、高い圧縮速度で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-04-22T06:35:23Z)
• Fast KVzip: Efficient and Accurate LLM Inference with Gated KV Eviction [50.99402504483692]
  凍結重み付き言語モデルのための新しいゲーティングベースのKVキャッシュ消去手法を提案する。 私たちのアプローチは、プリフィルとデコードの両方の段階にシームレスに統合されます。 実験の結果,KVキャッシュの最大70%を除去しながら,ほぼ無作為な性能を維持していることがわかった。
  論文  参考訳（メタデータ） (2026-01-25T03:07:54Z)
• EvolKV: Evolutionary KV Cache Compression for LLM Inference [16.100469422266045]
  EvolKVは階層的にタスク駆動型のKVキャッシュ圧縮のための適応型フレームワークである。 EvolKVは、オリジナル予算の1.5%しか利用せず、完全なKVコード補完よりも優れたパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2025-09-10T06:32:49Z)
• DBudgetKV: Dynamic Budget in KV Cache Compression for Ensuring Optimal Performance [125.81664663201282]
  我々はDBudgetKVと呼ばれる新しいKVキャッシュ圧縮手法を提案する。 残りのKVキャッシュがフルキャッシュのパフォーマンスにマッチしない場合、注意ベースのメトリクスが特徴である。 提案手法は, 平均圧縮率25%を超え, 無損失KVプルーニングを効果的かつ堅牢に実現している。
  論文  参考訳（メタデータ） (2025-02-24T06:33:39Z)
• More Tokens, Lower Precision: Towards the Optimal Token-Precision Trade-off in KV Cache Compression [71.42818367729573]
  大規模言語モデル(LLM)では、KVキャッシュのメモリ使用量は推論において重大なボトルネックとなっている。 KVプルーニングやKV量子化を含む主流のKV圧縮法は、主にトークンまたは精度寸法を別々に扱う。 本稿では,KVキャッシュ圧縮におけるトークン精度トレードオフを包括的に検討する。
  論文  参考訳（メタデータ） (2024-12-17T09:20:31Z)
• LoRC: Low-Rank Compression for LLMs KV Cache with a Progressive Compression Strategy [59.1298692559785]
  キーバリュー(KV)キャッシュは、トランスフォーマーベースの自己回帰型大言語モデル(LLM)を提供する上で重要なコンポーネントである。 この問題を緩和するためのアプローチとしては、(1) アップサイクルステージに統合された効率的な注意変動、(2) テスト時のKVキャッシュ圧縮、(3) テスト時のKVキャッシュ圧縮がある。 そこで我々は,KV重み行列の低ランク近似を提案し,モデル再学習なしに既存のトランスフォーマーベースLCMとのプラグイン統合を実現する。 本手法は,テスト段階におけるアップサイクリング段階のモデルチューニングやタスク固有のプロファイリングを伴わずに機能するように設計されている。
  論文  参考訳（メタデータ） (2024-10-04T03:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。