論文の概要: Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving
- arxiv url: http://arxiv.org/abs/2611.13412v1
- Date: Tue, 10 Nov 2026 00:46:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-12 04:24:43.635742
- Title: Bursts That Outlast Themselves: Persistent Degradation in Prefix-Cached Agent Serving
- Title(参考訳): 病原菌を駆除するバースト:プリフィックスキャッシュされたエージェントの持続的劣化
- Abstract要約: LLMエージェントは、コンテキストが毎回変化するクローズドループセッションで推論エンジンを駆動する。
ここでは、プレフィックスキャッシュエージェントがMetastableを提供することを示す。
アクティブセッションの常駐KV要求をプールにバインドする予算立案者で、作業負荷単位のチューニングを必要としないしきい値によって、テストしたすべての実行時の障害を防止しました。
- 参考スコア(独自算出の注目度): 2.2068933460061224
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: LLM agents drive inference engines with closed-loop sessions whose context grows every turn, and serving them economically depends on prefix caching: a hit costs an incremental prefill of about a thousand tokens, a miss recomputes a 10--40K-token context. We show that this makes prefix-cached agent serving metastable. With an identical base workload, a few minutes of extra arrivals leaves a vLLM server in a degraded regime--a ~10% hit ratio, about half the throughput, and a backlog that grows for the remaining 70 minutes--while its no-burst twin stays healthy (9 of 12 pairs; none in the reverse direction). The regime appears at loads the cache-warm server sustains, is absent without prefix caching, and also appears with Qwen3-32B on SWE-bench agent trace shapes and on SGLang, which tolerates larger triggers. Slower service keeps more sessions in the system, their working set outgrows the KV pool, and every turn becomes a recomputation; a first-order workload-balance condition, calibrated independently, brackets when the regime can drain. Getting out is the harder problem: throttling new admissions recovered 1 of 7 matched collapsed runs, while suspending admitted sessions against a capacity-based limit recovered all of them within minutes. A CPU offload tier delays the collapse but does not prevent it. A budgeter that bounds the resident KV demand of active sessions to the pool, with thresholds that need no per-workload tuning, prevented the failure in every run we tested.
- Abstract(参考訳): LLMエージェントは、コンテキストが毎回変化するクローズドループセッションで推論エンジンを駆動し、経済的にはプレフィックスキャッシュに依存する。
ここでは、プレフィックスキャッシュエージェントがMetastableを提供することを示す。
同じベースワークロードで、数分間の余分な到着は、vLLMサーバを劣化したレシエーション(約10%のヒット率、スループットの半分、残り70分間成長するバックログ)に残します。
また、SWE-benchエージェントトレース形状のQwen3-32Bや、より大きなトリガを許容するSGLangにも表示される。
より低いサービスはシステム内でより多くのセッションを保持し、作業セットはKVプールを超過し、各ターンが再計算される。
7回とも故障したランニングのうち1回を再開する一方で、キャパシティベースの制限に対するセッションを数分で停止するといった、新たなインセプションの停止は難しい問題です。
CPUオフロード層は崩壊を遅らせるが、それを防ぐことはできない。
アクティブセッションの常駐KV要求をプールにバインドする予算立案者で、作業負荷単位のチューニングを必要としないしきい値によって、テストしたすべての実行時の障害を防止しました。
関連論文リスト
- Cache Engineering for Agents [9.70023392405603]
大規模言語モデル(LLM)エージェントはますます複雑なタスクを処理し、観察と行動の長い軌跡をナビゲートする。
これらのトラジェクトリが大きくなるにつれて、キー値(KV)キャッシュI/Oとストレージが主流となる。
そこで我々は,新たな手法としてキャッシュエンジニアリングを提案する。これによりエージェントは,動作中のKVキャッシュを直接制御できる。
論文 参考訳(メタデータ) (2026-10-20T17:32:24Z) - When the KV Cache Is Slower Than the GPU: Scaling Remote KV Tiers for Context-Parallel Prefill [1.2894104422808244]
リクエスト間での注意KVキャッシュの再利用は、ロングコンテキストサービスにおけるプリフィルコストを削減する標準的な方法である。
本研究では,8xB300ノード上でのGLM-5.3の分散配置において,事前のコンテクスト並列処理を行う場合のそのような階層について検討する。
論文 参考訳(メタデータ) (2026-10-15T08:37:22Z) - SquidAgent: Parallelize Wisely, Coordinate Efficiently [66.64544354706031]
LLMベースのエージェントは複雑なマルチステップタスクを解決するが、シーケンシャルな実行にはかなりの遅延が発生する。
クリティカルパスコストに加えて、再探索とアライメントオーバーヘッドが対応するシリアルコストよりも低い場合にのみ、レイヤを並列化すべきである。
SquidAgentは平均スループット2.2$times$、平均スループット2.6$times$、最強のマルチエージェントベースラインよりも2.0$times$のスループット改善を実現している。
論文 参考訳(メタデータ) (2026-10-06T16:35:28Z) - ReFold: Training-Free Reversible Inter-Turn Context Folding for Long-Horizon Agents [11.4603757827217]
ロングホライゾンLSMエージェントは、各ステップでモデルに再送される追加のみの相互作用履歴に作用する。
既存の手法はコンテキスト要求予測を通じてコンテキストを管理する。
モデルのレンダリングコンテキストのみを圧縮しながら、基礎となるインタラクション履歴を保存する、トレーニング不要なレンダリング層であるReFoldを紹介します。
論文 参考訳(メタデータ) (2026-10-06T07:09:54Z) - SkillZip Pro: Execution-Aware Dynamic Compression of Progressively Loaded Skills for Self-Evolving Agents [48.36946103539268]
完全かつ段階的に装填されたスキルバンドルのための評価フリー圧縮機である。
メソッドはファイルを圧縮し、ルートや宣言された環境契約がすでに提供している場合、参照またはサブスキルからコンテンツを削除する。
ルーティングを保存するため、必要なファイルと直接呼び出し可能なエントリは書き直し後も到達可能である。
論文 参考訳(メタデータ) (2026-08-31T13:41:16Z) - Elastic KV Cache for LLM Serving:A Working Reclamation Mechanism, and Why Chunked Prefill Already Closes the Gap [0.0]
弾性KVキャッシュはデコード中にKVプールにリザーブを貸し出し、プリフィル前に返します。
同じメモリの静的コミットは、プリフィルバーストで安全ではないため、動的トグルが必要になる。
小さめのプリフィルチャンクサイズが、プリフィルの遅延をひどく損なう場合に限る。
論文 参考訳(メタデータ) (2026-08-24T15:49:39Z) - CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving [0.0]
CacheRouteは、3.5sのp99 SLOで176 +/-11 QPSを保ち、2.3倍は5つのベースラインで最強である。
60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5 s p99 SLOで176 +/-11 QPSを維持できる。
論文 参考訳(メタデータ) (2026-08-20T06:12:47Z) - ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。
回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。
我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
論文 参考訳(メタデータ) (2026-07-14T17:50:50Z) - MEME: Multi-entity & Evolving Memory Evaluation [76.57263966646404]
MEMEは、マルチエンタリティと進化する軸によって定義される全空間にまたがる6つのタスクを定義している。
3つの記憶パラダイムにまたがる6つの記憶システムの評価。
デフォルト設定の下では、すべてのシステムが依存性の推論で崩壊しているのが分かります。
論文 参考訳(メタデータ) (2026-05-12T17:55:10Z) - Out of the Memory Barrier: A Highly Memory Efficient Training System for LLMs with Million-Token Contexts [68.79341332280062]
長いコンテキストでの大規模言語モデル(LLM)のトレーニングは、トレーニング時間ではなく、GPUメモリの異常なオーバーヘッドによって厳しく制限される。
この障壁に直面するメモリ効率の高いトレーニングシステムOOMBを紹介します。
本手法では,オンザフライアクティベーション・リコンピュテーションを備えたチャンク・リカレント・トレーニング・フレームワークを用いて,一定のアクティベーションメモリフットプリントを維持する。
論文 参考訳(メタデータ) (2026-02-02T13:52:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。