論文の概要: CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving
- arxiv url: http://arxiv.org/abs/2608.19677v1
- Date: Thu, 20 Aug 2026 06:12:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-21 20:28:51.473699
- Title: CacheRoute: Planned Prefix-Affinity Routing for Large-Scale LLM Serving
- Title(参考訳): CacheRoute:大規模LLM実行のためのプレフィックスアフィニティルーティングの計画
- Abstract要約: CacheRouteは、3.5sのp99 SLOで176 +/-11 QPSを保ち、2.3倍は5つのベースラインで最強である。
60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5 s p99 SLOで176 +/-11 QPSを維持できる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prefix caching avoids prefill only when a repeated request returns to a server that still holds the prefix KV. Cache-blind balancing disperses that reuse; fixed affinity preserves it but can overload a server. CacheRoute resolves this tradeoff with a periodic routing plan. It admits high-rate keys to a stable warm set and places their assignments by expected load. Hot keys may use more than one destination, although every key in our primary semi-synthetic aggregate uses exactly one. On Llama-3.3-70B in fp8 across 60 H100 GPUs, CacheRoute sustains 176+/-11 QPS at a 3.5-s p99 SLO, 2.3x the strongest of five baselines. Served KV-cache hit rate rises from 64.1+/-1.3% under cache-blind balancing to 93.2+/-0.5%. A second semi-synthetic aggregate and controlled 8B and burst experiments separate the effects of affinity and placement. Two 32B workloads provide the counterexamples: when affinity recovers too little KV work, its residual load skew reduces or erases the improvement. We therefore recommend gating any deployment with a shadow replay rather than enabling affinity from workload statistics alone.
- Abstract(参考訳): プレフィックスキャッシュは、プレフィックスKVを保持するサーバに繰り返し要求が返される場合にのみプリフィルを回避する。
キャッシュブロードバランシングはその再利用を分散する。固定アフィニティはそれを保存するが、サーバをオーバーロードできる。
CacheRouteはこのトレードオフを周期的なルーティングプランで解決します。
安定したウォームセットにハイレートキーを付与し、期待される負荷に応じて割り当てを配置する。
ホットキーは複数の宛先を使用する場合もあるが、一次半合成集合のすべてのキーは正確に1つを使用する。
60 H100 GPU上のfp8のLlama-3.3-70Bでは、CacheRouteは3.5sのp99 SLOで176+/11 QPSを保ち、2.3倍は5つのベースラインで最強である。
KVキャッシュのヒット率は64.1+/-1.3%から93.2+/-0.5%に上昇する。
第2の半合成集合体と制御された8Bとバースト実験は親和性と配置の影響を分離した。
親和性によってKVの作業が小さすぎると、残りの負荷スキューは改善を減らし、消去する。
したがって、ワークロード統計だけで親和性を実現するのではなく、シャドウリプレイによるデプロイメントのゲーティングを推奨します。
関連論文リスト
- Same Request, Different Answer: Quantization Amplifies Cache-Induced Divergence in LLM Serving [0.0]
サービスエンジンがリクエスト間で共有プロンプトプレフィックスのキーと値テンソルを再利用するプリフィックスキャッシュは、主要なオープンソーススタックでデフォルトで有効になっている。
キャッシュを有効にし、2つのエンジンと4つの重み付けフォーマットで無効にする。
繰り返し実行はすべての構成においてビット識別され、800回中0回であり、他の非決定性源を0.5%に制限している。
論文 参考訳(メタデータ) (2026-09-04T05:27:34Z) - ReCache: Efficient KV Cache Reuse and Compression for Tool-Augmented LLM Agents [7.368551130048085]
textbfReCacheは、リソース表現を独立してキャッシュするためのフレームワークである。
7つの公開ツールとスキルユースデータセットから収集したベンチマークでReCacheを評価した。
論文 参考訳(メタデータ) (2026-08-20T05:57:24Z) - Governing the KV Cache: Preventing Timing Side-Channel Leakage in Multi-Tenant LLM Inference [0.0]
キーバリュー(KV)キャッシュは、現代の大言語モデル(LLM)推論における主要なスループット最適化である。
3つの攻撃がそれを悪用し、保護されていないvLLMとSGに対する攻撃の成功率が最大100%に達する。
我々は3つの攻撃ファミリーのプレフィックスキャッシュパスに対処するガバナンス層であるKVGovを紹介する。
論文 参考訳(メタデータ) (2026-08-10T07:47:57Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - Cache-Aware Prompt Compression:A Two-Tier Cost Model for LLM API Caching [7.336436436266022]
AnthropicのSonnet 4.6 APIで,そのコストを実証的に評価した。
キャッシュ対応プロンプト圧縮(CAPC)を提案する。
CAPCはLongBench-v2の16/16構成で最も安価な戦略である。
論文 参考訳(メタデータ) (2026-07-17T00:03:47Z) - Grounded Cache Routing for Retrieval-Augmented Generation: When Is It Safe to Reuse an Answer? [0.0]
我々は、4つの安価なゲートが同時に保持されている場合にのみキャッシュされた応答を許容するエビデンス検証キャッシュルータであるGroundedCacheを提案する。
我々は、ヒットレートだけでなく、キャッシュ安全性をストレステストする6段階のワークロードを構築し、オペレーター向けメトリックであるunsafe-served rate (USR)を導入する。
2つのデータセットと12,000の実LLM世代(Qwen2.5-7B-Instruct on vLLM with Automatic Prefix Caching)、GroundedCacheはUSRをすべてのHotpotQAシステムで0.0%、mtRAGドキュメントドリフトで1.5%まで駆動する。
論文 参考訳(メタデータ) (2026-05-26T16:50:02Z) - StepCache: Step-Level Reuse with Lightweight Verification and Selective Patching for LLM Serving [0.0]
StepCacheはバックエンドに依存しないステップレベルの再利用レイヤで、出力を順序付けられたステップに分割します。
StepCacheは、選択的パッチによって失敗したリージョンのみを再生する。
平均レイテンシは2.13秒から0.67秒、中央レイテンシは2.42秒から0.01秒、p95レイテンシは3.38秒から3.30秒に減少する。
論文 参考訳(メタデータ) (2026-03-24T17:19:26Z) - PackCache: A Training-Free Acceleration Method for Unified Autoregressive Video Generation via Compact KV-Cache [61.57938553036056]
トレーニング不要なKVキャッシュ管理手法であるPackCacheを導入し,KVキャッシュを3つの協調機構でコンパクト化する。
効率の面では、PackCacheは48フレームの長いシーケンスで1.7-2.2倍のエンドツーエンド生成を高速化する。
論文 参考訳(メタデータ) (2026-01-07T19:51:06Z) - R-KV: Redundancy-aware KV Cache Compression for Reasoning Models [77.84539432982307]
共振モデル(R-KV)のための冗長性を考慮したKVキャッシュ圧縮を提案する。
R-KVはKVキャッシュの10%しか使用せず、完全なKVキャッシュ性能のほぼ100%を保っている。
驚くべきことに、R-KVは完全なKVキャッシュ性能の105%を達成し、KVキャッシュの16%を達成している。
論文 参考訳(メタデータ) (2025-05-30T02:03:24Z) - vCache: Verified Semantic Prompt Caching [95.16654660556975]
本稿では,ユーザ定義エラー率保証を備えた最初の検証済みセマンティックキャッシュであるvCacheを提案する。
オンライン学習アルゴリズムを使用して、キャッシュされたプロンプト毎に最適な閾値を推定し、追加のトレーニングなしで信頼性の高いキャッシュ応答を可能にする。
我々の実験によると、vCacheは特定のエラー境界を一貫して満たし、最先端の静的な閾値と微調整された埋め込みベースラインより優れています。
論文 参考訳(メタデータ) (2025-02-06T04:16:20Z) - KVSharer: Efficient Inference via Layer-Wise Dissimilar KV Cache Sharing [58.29726147780976]
我々は,層間をKVキャッシュで共有し,層間圧縮を実現する,textit KVSharerと呼ばれるプラグアンドプレイ方式を提案する。
実験の結果、textit KVSharerはKVキャッシュの計算を30%削減し、メモリ消費を削減できることがわかった。
我々は,textit KVSharerが既存の層内KVキャッシュ圧縮手法と互換性があることを検証する。
論文 参考訳(メタデータ) (2024-10-24T08:06:41Z) - Get More with LESS: Synthesizing Recurrence with KV Cache Compression for Efficient LLM Inference [78.65321721142624]
我々はキー値(KV)キャッシュによって課されるメモリボトルネックに焦点を当てる。
既存のKVキャッシュ手法は、比較的重要でないKVペアの大きなスワストを刈り取ったり、取り除いたりすることでこの問題に対処する。
本稿では,固定サイズキャッシュと退避型キャッシュを簡易に統合したLESSを提案する。
論文 参考訳(メタデータ) (2024-02-14T18:54:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。