論文の概要: Learning Agent Execution for KV-Cache Management in Agentic Serving

• arxiv url: http://arxiv.org/abs/2608.14624v1
• Date: Thu, 16 Jul 2026 22:28:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-23 14:54:39.916375
• Title: Learning Agent Execution for KV-Cache Management in Agentic Serving
• Title（参考訳）: エージェント・サービングにおけるKVキャッシュ管理のための学習エージェントの実行
• Abstract要約: マルチエージェントLLMサービスのためのエージェント対応KV-cacheランタイム層であるCacheScoutを提案する。 鍵となる洞察は、将来のKV-cacheの再利用は、キャッシュのレイテンシ単独ではなく、エージェントの実行セマンティクスによって管理されることである。 CacheScout は KV-cache のヒット率を 10-18 ポイント改善し,平均 TTFT を 18-45% 削減し,平均 TTFT を 29-38% 削減し,ピークスループットを 57% 向上させることを示した。
• 参考スコア（独自算出の注目度）: 25.021363822677515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multi-agent LLM systems have emerged as an important deployment paradigm for AI services, where each user request is decomposed into a sequence of specialized agents. Across these workflows, every agent repeatedly executes a fixed context consisting of system prompts, tool definitions, and few-shot examples, creating substantial opportunities for KV-cache reuse. Existing LLM serving systems, however, manage KV-cache reactively using prefix caching and recency-based replacement, causing reusable agent contexts to be evicted before their next invocation and forcing repeated recomputation. We present CacheScout, an agent-aware KV-cache runtime layer for multi-agent LLM serving. The key insight is that future KV-cache reuse is governed by agent execution semantics rather than cache recency alone. CacheScout captures these semantics by learning agent execution transitions online, without requiring predefined workflow graphs or offline training, and uses the learned execution model to guide both cache eviction and proactive prefetching while leaving the serving critical path unchanged. We implement CacheScout on top of vLLM. Across representative real-world multi-agent workloads, CacheScout improves KV-cache hit rate by 10-18 percentage points, reduces mean TTFT by 18-45%, lowers mean per-turn latency by 29-38%, and increases peak throughput by up to 57%. These benefits also generalize to larger models, reducing TTFT by up to 54% while sustaining 37% higher throughput.
• Abstract（参考訳）: マルチエージェントLLMシステムはAIサービスの重要なデプロイメントパラダイムとして登場し、各ユーザ要求を特別なエージェントのシーケンスに分解する。 これらのワークフロー全体で、各エージェントは、システムプロンプト、ツール定義、少数の例からなる固定されたコンテキストを繰り返し実行し、KV-cache再利用のかなりの機会を生み出します。 しかし、既存のLLMサービスシステムでは、プレフィックスキャッシングとリカレンシベースの置換を使用してKV-cacheを反応性に管理し、再起動前に再利用可能なエージェントコンテキストを排除し、繰り返し再計算を強制する。 マルチエージェントLLMサービスのためのエージェント対応KV-cacheランタイム層であるCacheScoutを提案する。 鍵となる洞察は、将来のKV-cacheの再利用は、キャッシュのレイテンシ単独ではなく、エージェントの実行セマンティクスによって管理されることである。 CacheScoutは、事前に定義されたワークフローグラフやオフライントレーニングを必要とせずに、エージェントの実行遷移をオンラインで学習することで、これらのセマンティクスをキャプチャし、学習した実行モデルを使用して、クリティカルパスをそのままにして、キャッシュの排除とアクティブなプリフェッチの両方をガイドする。 vLLM上にCacheScoutを実装します。 一般的な実世界のマルチエージェントワークロード全体で、CacheScoutはKVキャッシュヒット率を10～18パーセント改善し、平均TTFTを18～45%削減し、ターン毎の平均レイテンシを29～38%削減し、ピークスループットを最大57%向上させた。 これらの利点はより大きなモデルにも一般化され、TTFTは最大54%削減され、スループットは37%向上した。

関連論文リスト

• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Recency/Frequency Adaptive KV Caching for Large Language Model Serving [7.261125311665803]
  キーバリューキャッシング(KV)は,大規模言語モデルの推論と生成を高速化する強力な手法である。 推論ワークロードは巨大で多様であり、効果的にキャッシュするのが困難である。 我々は,最近発生したKVブロック間で動的にキャッシュ空間を割り当てる適応キャッシュを統合する。
  論文  参考訳（メタデータ） (2026-06-19T09:05:01Z)
• A Policy-Driven Runtime Layer for Agentic LLM Serving [6.975319765760388]
  マルチエージェント LLM システムはプロダクションワークロードの主流となっているが、サービススタックは構築されなかった。 このシームは、ポイント修正よりもアーキテクチャの変更によって対処されるのが最善である、と私たちは主張する。 5つの実マルチエージェントワークロードの予備的な結果は、+13から+37ppキャッシュヒットレートリフト、12%から29%低い平均TTFT、6%から14%高いスループットを示す。
  論文  参考訳（メタデータ） (2026-05-26T22:38:34Z)
• PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design [5.476189551376108]
  本稿では、要求対応のラッドツリー(DART)とクエリ対応のスケジューラ(QAS)を共同設計し、要求の受け入れを正確なKV保持と整合させるPRISMを提案する。 評価の結果,最強のベースラインに対して,PRISMはQPS P99 TTFT平均を23.3%,P99 TTFT平均を37.1%削減し,KV-cacheの精度は4Bモデルと13Bモデルでそれぞれ5.9,12.2ポイント向上した。
  論文  参考訳（メタデータ） (2026-05-09T00:48:25Z)
• AgenticCache: Cache-Driven Asynchronous Planning for Embodied AI Agents [3.275342475988451]
  実施中のAIエージェントは、計画のための大規模言語モデル(LLM)にますます依存しているが、ステップごとのLSMコールは、深刻なレイテンシとコストを課している。 AgenticCacheは、キャッシュされたプランを再利用し、ステップごとのLCM呼び出しを避けるためのフレームワークです。 AgenticCacheは12構成の平均的なタスク成功率を22%改善し、シミュレーション遅延を65%削減し、トークン使用率を50%削減する。
  論文  参考訳（メタデータ） (2026-04-27T04:51:15Z)
• PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
  トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。 効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
  論文  参考訳（メタデータ） (2026-01-07T19:51:06Z)
• KVCOMM: Online Cross-context KV-cache Communication for Efficient LLM-based Multi-agent Systems [25.770173970846884]
  KVCOMMは、マルチエージェント推論における効率的なプリフィルを可能にする、トレーニング不要のフレームワークである。 KVCOMMはキャッシュされたサンプル終端アンカーのプールを参照することにより、共有コンテンツのKVキャッシュを推定し、調整する。 KVCOMMは多様なマルチエージェントワークロード間で70%以上の再利用率を達成する。
  論文  参考訳（メタデータ） (2025-10-14T18:00:01Z)
• GUI-KV: Efficient GUI Agents via KV Cache with Spatio-Temporal Awareness [75.00019285120878]
  キーバリュー(KV)キャッシュは、これを緩和することができるが、フルキャッシュの保存は、画像重大なコンテキストでは禁じられている。 既存のキャッシュ圧縮手法はGUIの空間的および時間的冗長性を考慮しないため、最適化されていない。 再学習を必要としないGUIエージェントのKVキャッシュ圧縮方式であるGUI-KVを紹介する。
  論文  参考訳（メタデータ） (2025-10-01T05:37:54Z)
• dKV-Cache: The Cache for Diffusion Language Models [53.85291644298835]
  Diffusion Language Models (DLMs) は自己回帰型言語モデルにとって有望な競合と見なされている。 本稿では,DLMの復調過程に対するKVキャッシュ機構,遅延KVキャッシュを提案する。 我々のアプローチは、異なるトークンが拡散過程を通して異なる表現力学を持つという観察によって動機付けられている。
  論文  参考訳（メタデータ） (2025-05-21T17:32:10Z)
• ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
  大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。 本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。 我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
  論文  参考訳（メタデータ） (2024-07-30T17:59:08Z)
• Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
  我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。 本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。 命令符号化では,キャッシュの重要性を評価するために周波数を利用する。 様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-25T15:29:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。