論文の概要: Callo: Serving Cache-Miss Requests with Speculative Decoding on Invalidated KV under Prefill-Decode Disaggregation
- arxiv url: http://arxiv.org/abs/2611.18459v1
- Date: Fri, 13 Nov 2026 17:28:37 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:24:50.810143
- Title: Callo: Serving Cache-Miss Requests with Speculative Decoding on Invalidated KV under Prefill-Decode Disaggregation
- Title(参考訳): Callo: プリフィル・デコード・デアグリゲーションの下で、無効なKV上で投機的デコードでキャッシュミスリクエストを実行する
- Abstract要約: Calloは、このレイテンシを低減するために投機的ドラフトのために無効化されたKVを利用する、非集約型サービスシステムである。
Calloは、未使用の期間に投機をスケジューリングすることで、デコードリソースを効果的に活用する。
実世界のトレースによって駆動されるクラスタレベルのシミュレーションにより,これらのゲインが大規模に実現されていることを実証する。
- 参考スコア(独自算出の注目度): 1.1399172027447282
- License:
- Abstract: Agent sessions may involve frequent context edits, which effectively invalidate cached KV state and force requests to wait for re-prefill before decoding. We present Callo, a disaggregated serving system that leverages invalidated KV for speculative drafts to reduce this latency, while verifying drafts against the exact KV after prefill before committing tokens. Callo makes effective use of decode resources by scheduling speculations during periods of underutilization and preempting speculations when drafts are likely to not be accepted. We evaluated Callo on a two-GPU testbed using SWE-agent sessions across three model families, observing all-request speedups of 1.05-1.19x over vLLM at moderate load. We demonstrate that these gains are also realized at scale through cluster-level simulations driven by real-world traces.
- Abstract(参考訳): エージェントセッションは頻繁なコンテキスト編集を伴い、キャッシュされたKV状態を効果的に無効にし、デコードする前に再準備を待つように要求する。
トークンをコミットする前に、プリフィル後の正確なKVに対するドラフトを検証しながら、このレイテンシを低減するために、投機的ドラフトの無効化KVを利用する非集約型サービスシステムCalloを提案する。
Calloは、未使用の期間の投機をスケジューリングし、ドラフトが受け入れられない場合の投機をプリエンプションすることで、デコードリソースを効果的に活用する。
我々は,3つのモデルファミリーにわたるSWEエージェントセッションを用いた2GPUテストベッド上でCalloを評価し,vLLM上の1.05-1.19xの全要求速度を適度な負荷で観測した。
実世界のトレースによって駆動されるクラスタレベルのシミュレーションにより,これらのゲインが大規模に実現されていることを実証する。
関連論文リスト
- KV Cache Quantization for Diffusion Language Models [63.008471985859444]
拡散言語モデル(dLLMs)は、KVキャッシュ量子化が主にキャッシュ再構成問題であるという仮定を破る。
高速なdLLM推論は、デノナイジングステップ全体でKV状態を再利用するが、マスクされたトークンが明らかになれば、双方向のトークン表現が変更できる。
我々は、KIVIとKVQuantをFast-dLLMスタイルのプレフィックスとデュアルキャッシュの再利用に適用し、TRACEとdLLM-KVQを導入する。
論文 参考訳(メタデータ) (2026-10-29T11:31:41Z) - CateKV: On Sequential Consistency for Long-Context LLM Inference Acceleration [67.17709877327232]
ケイトKVは、一貫したヘッドに対して重要なトークン情報のみを保持するハイブリッドKVキャッシュ方式である。
Cate KV はメモリ使用量を最大$2.72 times$に減らし、シングルサンプル入力で$2.18times$に減らした。
論文 参考訳(メタデータ) (2026-08-31T06:02:37Z) - A Probabilistic Interpretation of KV Cache Eviction [52.196873305708955]
キャッシュ消去は、KVキャッシュからいくつかのエントリを削除することで、より高いスループットを達成することができる。
本稿では,確率論的推論のレンズによるKV放出問題の定式化を行う。
この確率的バージョンのKV消去と復号時間補正は、異なるタスクに対してより堅牢であることを示す。
論文 参考訳(メタデータ) (2026-08-28T12:57:07Z) - Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。
より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。
我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
論文 参考訳(メタデータ) (2026-07-30T02:42:51Z) - SpecLA: Efficient Speculative Decoding for Linear-Attention Models [23.993269460318704]
SpecLAは、ステートフルなリニアアテンションモデルのための投機的ランタイムデコーディングである。
公開GDN-1.3Bターゲットを持つNVIDIA H100では、SpecLAは自動回帰デコードよりも最大1.70倍のエンドツーエンドのスピードアップを達成する。
論文 参考訳(メタデータ) (2026-07-18T07:08:19Z) - Capacity-Constrained Online Convex Optimization with Delayed Feedback [58.59385794080679]
容量制約下での遅延オンライン凸最適化(OCO)について検討した。
1次フィードバックの場合、容量$C = (log T)$ sufficesで標準遅延OCOレートを対数係数まで回復できることがわかった。
包帯フィードバックの場合、後悔率は$(1 + _textmax/C)$で変調される。
論文 参考訳(メタデータ) (2026-06-10T06:37:06Z) - PRISM: Fast Online LLM Serving via Scheduling-Memory Co-design [5.476189551376108]
本稿では、要求対応のラッドツリー(DART)とクエリ対応のスケジューラ(QAS)を共同設計し、要求の受け入れを正確なKV保持と整合させるPRISMを提案する。
評価の結果,最強のベースラインに対して,PRISMはQPS P99 TTFT平均を23.3%,P99 TTFT平均を37.1%削減し,KV-cacheの精度は4Bモデルと13Bモデルでそれぞれ5.9,12.2ポイント向上した。
論文 参考訳(メタデータ) (2026-05-09T00:48:25Z) - When Hidden States Drift: Can KV Caches Rescue Long-Range Speculative Decoding? [19.77569541429818]
投機的復号化はLLM推論を加速させるが、SOTAの隠れ状態に基づく起草者は長距離減衰に悩まされる。
我々はコンテキスト情報保存の観点から長距離減衰を再考する。
KVShotは3つの再利用パラダイムを比較する診断フレームワークである。
論文 参考訳(メタデータ) (2026-04-29T08:25:01Z) - KV Packet: Recomputation-Free Context-Independent KV Caching for LLMs [11.980880525012056]
大規模言語モデルは、推論遅延を最小限に抑えるためにキーバリュー(KV)キャッシングに大きく依存する。
CacheBlend、EPIC、SAM-KVといった既存のソリューションは、トークンのサブセットを選択的に再計算することでこの問題を軽減する。
我々は,KV Packetを提案する。KV Packetは,キャッシュされた文書を,軽量なトレーニング可能なソフトトーケンアダプタでラップした不変パケットとして扱う,再計算不要なキャッシュ再利用フレームワークである。
論文 参考訳(メタデータ) (2026-04-14T18:50:47Z) - Judge Q: Trainable Queries for Optimized Information Retention in KV Cache Eviction [53.83828564664595]
大規模言語モデル(LLM)は、キー値(KV)キャッシュを使用して、シーケンス処理中に履歴情報を格納する。
KVキャッシュ消去の現在の方法は、通常、プレフィルフェーズからの最後のウィンドウをクエリとして利用し、消去のためのKV重要度スコアを計算する。
ソフトトークンリストを組み込んだ新しいトレーニング手法であるジャッジQを提案する。
論文 参考訳(メタデータ) (2025-09-13T03:34:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。