論文の概要: Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents

• arxiv url: http://arxiv.org/abs/2610.05833v1
• Date: Mon, 05 Oct 2026 05:37:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 03:58:58.928947
• Title: Request Order Matters: Cache-History Sensitivity in Selective KV-Cache Reuse for Rolling Agents
• Title（参考訳）: 要求順序: ローリングエージェントの選択的KVキャッシュ再利用におけるキャッシュ履歴感度
• Abstract要約: ドキュメント整列型再計算により、リクエスト注文間の回答のばらつきが69.0%から、CacheBlendのトークンのトップ$k$ポリシーが26.1%に削減される。 我々のアブレーション研究は, 転がり軸受の作業負荷において, 連続性が頑健な選択的再計算に関連する主要な要因であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Long-running agents repeatedly call an LLM while retaining most of their document window, evicting old documents, and appending new ones. These rolling updates break exact prefix caching and motivate non-prefix KV-cache reuse with selective recomputation. We show that persistent KV-cache reuse with selective recomputation can be history-dependent: in our rolling-agent workload, an unchanged prompt can produce different answers depending on the requests processed before it. At a matched 5% recomputation budget, document-aligned recomputation reduces answer variation across request orders from 69.0% with CacheBlend's token top-$k$ policy to 26.1%. When each prompt is evaluated after a different sequence of preceding requests, document-aligned recomputation improves fidelity to full prefill by 34.5-52.5 percentage points over token top-$k$, while both policies achieve approximately 5.7$\times$ median TTFT speedup. Our ablation study shows that, in our rolling-agent workload, contiguity is the main factor associated with robust selective recomputation.
• Abstract（参考訳）: 長期にわたるエージェントは LLM を何度も呼び、ドキュメントウィンドウの大部分を保持し、古いドキュメントを削除し、新しいものを追加する。 これらのローリング更新は正確なプレフィックスキャッシュを壊し、選択的な再計算で非プリフィックスKV-cacheの再利用を動機付ける。 我々は、選択的再計算を伴う永続的なKV-cache再利用が履歴に依存していることを示す: ローリングエージェントのワークロードでは、不規則なプロンプトは、前処理した要求に応じて異なる回答を生成することができる。 一致した5%の再計算予算では、ドキュメント整列型再計算により、リクエスト注文間の回答のばらつきが69.0%から、CacheBlendのトークンのトップ-$k$ポリシーが26.1%に減少する。 各プロンプトが前回の要求の異なる順序で評価されると、文書整列再計算はトークンのトップ-k$よりも34.5-52.5ポイントの割合で完全プリフィルに改善され、両方のポリシーはおよそ5.7$\times$Central TTFTスピードアップを達成する。 我々のアブレーション研究は, 転がり軸受の作業負荷において, 連続性が頑健な選択的再計算に関連する主要な要因であることを示している。

関連論文リスト

• Persistent Context Graphs for Efficient Memory Compaction in LLM Agents [36.77935189537971]
  既存の方法は履歴を要約するか、KVキャッシュを圧縮する。 ReCAPは注目に起因した重要度スコアと依存関係のリンクを、軽量で永続的なコンテキストグラフに格納する。 Codexのデフォルトの要約ベースの圧縮と比較すると、ReCAPは圧縮と低温回復の予測遅延を約95%削減する。
  論文  参考訳（メタデータ） (2026-09-30T16:43:28Z)
• Recall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context Attention [4.6833133124119275]
  ReTopKは、歴史的検索決定を再利用することで、動的Top-$Kの注意を加速するトレーニングフリーの手法である。 128Kが$K=512$で、ReTopKはExact Top-K$よりも0.50%のパープレキシティアップしか得られず、注意計算は$3.07times$で加速する。
  論文  参考訳（メタデータ） (2026-07-30T05:25:23Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Learning Agent Execution for KV-Cache Management in Agentic Serving [25.021363822677515]
  マルチエージェントLLMサービスのためのエージェント対応KV-cacheランタイム層であるCacheScoutを提案する。 鍵となる洞察は、将来のKV-cacheの再利用は、キャッシュのレイテンシ単独ではなく、エージェントの実行セマンティクスによって管理されることである。 CacheScout は KV-cache のヒット率を 10-18 ポイント改善し,平均 TTFT を 18-45% 削減し,平均 TTFT を 29-38% 削減し,ピークスループットを 57% 向上させることを示した。
  論文  参考訳（メタデータ） (2026-07-16T22:28:19Z)
• CacheWeaver: Cache-Aware Evidence Ordering for Efficient Grounded RAG Inference [4.3361375690943795]
  vLLMのようなサービスエンジンのプリフィックスキャッシュは、リクエストが同じトークンプレフィックスを共有する場合にのみ、このコストを削減する。 キャッシュ対応エビデンスオーダの軽量なプロンプト層手法であるCacheWeaverを提案する。
  論文  参考訳（メタデータ） (2026-06-18T00:38:46Z)
• KVCache Cache in the Wild: Characterizing and Optimizing KVCache Cache at a Large Cloud Provider [15.532112534717262]
  大規模言語モデル(LLM)の実現はクラウドプロバイダにとって重要であり、各要求処理後の中間結果(KV$)をキャッシュすることで、スループットとレイテンシが大幅に向上する。 我々は、主要なLLMサービスプロバイダの1つから、KV$ワークロードパターンを初めて体系的に評価した。 本稿では,特にキャッシュ容量の制限により,実世界のトレース下でのサービス性能を向上させる,ワークロード対応のキャッシュ消去ポリシーを提案する。
  論文  参考訳（メタデータ） (2025-06-03T08:51:38Z)
• Training-Free Exponential Context Extension via Cascading KV Cache [49.608367376911694]
  カスケードサブキャッシュバッファを利用して,最も関連性の高いトークンを選択的に保持する機構を導入する。 本手法は,1Mトークンのフラッシュアテンションと比較して,プリフィルステージ遅延を6.8倍削減する。
  論文  参考訳（メタデータ） (2024-06-24T03:59:17Z)
• Adaptive Query Rewriting: Aligning Rewriters through Marginal Probability of Conversational Answers [66.55612528039894]
  AdaQRは、シードデータセットからの限定的な書き直しアノテーションと完全にパスラベルのないクエリ書き換えモデルをトレーニングするフレームワークである。 会話クエリに条件付き回答の確率を用いて,これらの候補に対する検索者の嗜好を評価する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-16T16:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。