論文の概要: Cache Engineering for Agents
- arxiv url: http://arxiv.org/abs/2610.28577v1
- Date: Tue, 20 Oct 2026 17:32:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.950245
- Title: Cache Engineering for Agents
- Title（参考訳）: エージェントのキャッシュエンジニアリング
- Abstract要約: 大規模言語モデル(LLM)エージェントはますます複雑なタスクを処理し、観察と行動の長い軌跡をナビゲートする。
これらのトラジェクトリが大きくなるにつれて、キー値(KV)キャッシュI/Oとストレージが主流となる。
そこで我々は,新たな手法としてキャッシュエンジニアリングを提案する。これによりエージェントは,動作中のKVキャッシュを直接制御できる。
- 参考スコア（独自算出の注目度）: 9.70023392405603
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Model (LLM) agents can handle increasingly complex tasks, navigating long trajectories of observations and actions. As these trajectories grow, key-value (KV) cache I/O and storage become the dominant cost. Trajectories can also exceed the LLM's maximum context length, requiring control over active cache growth. Prior work uses context engineering to reduce cache size by trimming or summarizing history. However, modifying the trajectory prefix invalidates subsequent cached states and triggers costly re-prefilling of retained context. Task accuracy can also suffer when too little context is retained to limit re-prefill costs. We propose cache engineering as a new scheme. It allows agents to directly control their active KV cache without modifying the trajectory or re-prefilling retained context. Specifically, agents can proactively use drop to exclude selected cache from future attention and repos to adjust retained keys' position encodings. We formalize these cache operations and identify history dependence as a serving challenge: identical token sequences can yield different cache states under different cache operation sequences, making prefix matching insufficient for correct cache reuse. Thus, we co-design the AKV serving engine. It provides a stateless interface compatible with existing serving APIs, while internally managing stateful cache reuse, eviction, and restoration. Experiments show that a tool-response rolling-drop cache policy improves average benchmark scores by 1.7 points and reduces average cost by 27.7%, compared with conventional threshold-triggered summarization. With AKV, it achieves up to 1.2x the output throughput and a 1.5x speedup in P95 request latency. Recursive self-improvement of cache policies further reduces cost by 7.1% over expert design. Our code is at https://github.com/thu-nics/AKV.
- Abstract（参考訳）: 大規模言語モデル(LLM)エージェントはますます複雑なタスクを処理し、観察と行動の長い軌跡をナビゲートする。
これらのトラジェクトリが大きくなるにつれて、キー値(KV)キャッシュI/Oとストレージが主流となる。
トラジェクトリはLLMの最大コンテキスト長を超え、アクティブなキャッシュ成長を制御する必要がある。
以前の作業では、コンテキストエンジニアリングを使用して、履歴のトリミングや要約によってキャッシュサイズを削減する。
しかし、トラジェクトリプレフィックスを変更することで、後のキャッシュ状態が無効になり、保持されたコンテキストの再処理にコストがかかる。
タスクの正確さは、再補充コストを制限するためにコンテキストが小さすぎる場合にも悩むことがある。
キャッシュエンジニアリングを新しい手法として提案する。
エージェントは、軌跡を変更したり、保持されたコンテキストを再準備することなく、アクティブなKVキャッシュを直接制御できる。
具体的には、エージェントはドロップを積極的に使用して、選択したキャッシュを将来の注意から排除し、保持されたキーの位置エンコーディングを調整する。
同一のトークンシーケンスは、異なるキャッシュ操作シーケンスの下で異なるキャッシュ状態を生成することができるため、正しいキャッシュ再利用にはプレフィックスマッチングが不十分である。
そこで我々はAKVサービスエンジンを共同設計する。
既存のサービスAPIと互換性のあるステートレスインターフェースを提供すると同時に、ステートフルキャッシュの再利用、排除、復元を内部的に管理する。
実験によると、ツールレスのローリングドロップキャッシュポリシーは、従来のしきい値トリガーによる要約と比較して平均ベンチマークスコアを1.7ポイント改善し、平均コストを27.7%削減している。
AKVでは、最大1.2倍のスループットを実現し、P95要求遅延の1.5倍のスピードアップを実現している。
再帰的なキャッシュポリシーの自己改善により、エキスパート設計よりもコストが7.1%削減される。
私たちのコードはhttps://github.com/thu-nics/AKVにあります。
関連論文リスト
- KV-Kaizen: Learning Context-Adaptive Cache Compression Choices [29.96349791357183]
トークンを排除せずにキャッシュ圧縮に繋がる選択肢に注目する。
我々は、コンテキストに基づいて、階層ごとのキャッシュ構成を全体的な圧縮予算に向けて生成できるセレクタを学習する。
KV-Kaizenは、排除を改善し、それを構成でき、14Bモデルで32倍のデコードタイムキャッシュに達する。
論文 参考訳（メタデータ） (2026-09-29T16:49:46Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳（メタデータ） (2026-07-30T02:42:51Z) - IceCache: Memory-efficient KV-cache Management for Long-Sequence LLMs [12.353502602473695]
キーバリュー(KV)キャッシュは、大規模言語モデルにおける推論の加速に重要な役割を果たす。
セマンティックトークンクラスタリングとPagedAttentionを統合した新しいKVキャッシュ管理戦略を提案する。
256の予算で、IceCacheは完全なKVキャッシュモデルによって達成された元の精度の99%を維持している。
論文 参考訳（メタデータ） (2026-04-12T09:02:20Z) - Stochastic KV Routing: Enabling Adaptive Depth-Wise Cache Sharing [29.913403615975174]
高いスループットでトランスフォーマー言語モデルを実行するには、冗長な計算を避けるためにキーバリュー(KV)をキャッシュする必要がある。
KVキャッシュのメモリフットプリントは著しく、サービスコストに大きな影響を与えます。
本稿では,ランダムな層間注意(ランダムな層間注意,ランダムな層間注意,ランダムな層間注意)を提案する。
論文 参考訳（メタデータ） (2026-04-03T14:56:17Z) - ThinK: Thinner Key Cache by Query-Driven Pruning [63.13363917871414]
大規模言語モデル(LLM)は自然言語処理の分野に革命をもたらし、様々なアプリケーションで前例のない性能を達成した。
本稿では,KVキャッシュのメモリ消費の非効率性に対処する長文シナリオに焦点を当てた。
我々は,最小のチャネルを選択的に切断しながら,注目重量損失を最小限に抑える新しいクエリ依存型KVキャッシュプルーニング手法であるThinKを提案する。
論文 参考訳（メタデータ） (2024-07-30T17:59:08Z) - Efficient Inference of Vision Instruction-Following Models with Elastic Cache [76.44955111634545]
我々は,命令追従型大規模視覚言語モデルの効率的なデプロイのための新しい戦略であるElastic Cacheを紹介する。
本稿では,冗長キャッシュを具現化する重要なキャッシュマージ戦略を提案する。
命令符号化では,キャッシュの重要性を評価するために周波数を利用する。
様々なLVLMの結果は、Elastic Cacheが効率を向上するだけでなく、言語生成における既存のプルーニングメソッドよりも優れていることを示している。
論文 参考訳（メタデータ） (2024-07-25T15:29:05Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳（メタデータ） (2024-02-14T18:54:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。