論文の概要: Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving

• arxiv url: http://arxiv.org/abs/2608.06557v1
• Date: Thu, 06 Aug 2026 20:14:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-10 16:21:25.280465
• Title: Cascade: Exploiting SLO-Aware latency budget for fair and high goodput LLM inference serving
• Title（参考訳）: Cascade: 公正かつ高品質なLLM推論サービスのためのSLO対応レイテンシ予算の爆発的実行
• Abstract要約: 本稿では、要求特性、KVキャッシュ状態、現在のシステム負荷からこの予算を推定し、継続的に更新するLLMサービスシステムであるCascadeについて述べる。 スケジューラは、ほとんど残らない予算でリクエストを優先順位付けし、メモリマネージャは同じ予算を使って、非居住者のKV状態が復元されるか、プレフェッチされるかを決定する。 3つの大きな言語モデルにわたる運用トレースでは、Cascadeは出力を最大2.4倍改善し、デフォルトのvLLMファーストカム、ファーストサービススケジューラと比較してSLO違反を40%削減する。
• 参考スコア（独自算出の注目度）: 6.598068302749251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The reasoning and agentic capabilities of large language models have expanded the range of applications they support, from short interactive exchanges to long, compute-heavy requests. LLM serving platforms today define response-latency service-level objectives, even though requests within the same service can differ by orders of magnitude in input length, generation length, execution cost, and the availability of reusable KV-cache state. As a result, requests governed by the same service level objective have different urgency: after accounting for the time required to execute them, some have substantial latency headroom while others have almost none. We define this headroom---the difference between a request's service level objective and its predicted remaining service time---as its per-request latency budget. We present Cascade, an LLM serving system that estimates and continuously updates this budget from request characteristics, KV-cache state, and current system load. Unlike prior SLO-aware schedulers that use deadlines to govern request ordering alone, Cascade uses a single per-request budget to jointly coordinate request scheduling and KV-cache management across the memory hierarchy. Its scheduler prioritizes requests with little remaining budget, while its memory manager uses the same budget to decide whether non-resident KV state should be restored or prefetched from a deeper tier, retained in HBM, or recomputed. By directing queueing and data-movement overhead toward requests that can absorb it, Cascade improves SLO-satisfied goodput while preserving fairness across heterogeneous request classes. On production traces across three large language models, Cascade improves goodput by up to2.4x and reduces SLO violations by 40% relative to the default vLLM first-come, first-served scheduler.
• Abstract（参考訳）: 大規模言語モデルの推論とエージェント機能は、短い対話的な交換から長い計算量の多い要求まで、サポート対象のアプリケーションの範囲を広げている。 LLMサービスプラットフォームは現在、同じサービス内の要求が入力長さ、生成時間、実行コスト、再利用可能なKV-cache状態の順に異なるとしても、応答待ちのサービスレベルの目標を定義しています。 結果として、同じサービスレベルの目的によって管理されるリクエストは、異なる緊急性を持っています。 リクエスト毎のレイテンシ予算として、リクエストのサービスレベル目標と予測される残りのサービス時間との差を、このヘッドルームを定義します。 本稿では、要求特性、KVキャッシュ状態、現在のシステム負荷からこの予算を推定し、継続的に更新するLLMサービスシステムであるCascadeについて述べる。 従来のSLO対応スケジューラとは異なり、要求順序のみを管理するために期限を使用するが、Cascadeは要求ごとの予算を1つ使い、要求スケジューリングとKVキャッシュの管理をメモリ階層にわたって協調的に調整する。 スケジューラは、ほとんど残らない予算でリクエストを優先順位付けするが、メモリマネージャは同じ予算を使って、非居住者のKV状態をより深い階層から復元するか、HBMに保持するか、あるいは再計算するかを決定する。 キューとデータ移動のオーバーヘッドを、それを吸収できるリクエストに向けることで、Cascadeは、不均一なリクエストクラス間の公平性を維持しながら、SLOに満足した出力を改善します。 3つの大きな言語モデルにわたる運用トレースでは、Cascadeは出力を最大2.4倍改善し、デフォルトのvLLMファーストカム、ファーストサービススケジューラと比較してSLO違反を40%削減する。

関連論文リスト

• Kwai Summary Attention Technical Report [69.40814939510126]
  長文の能力は、次世代の大規模言語モデルの最も重要な方向性の1つになっている。 標準ソフトマックスアテンションは、シーケンスの長さに関して2次時間複雑性を示す。 歴史的文脈を圧縮することでシーケンスモデリングコストを削減する新しいアテンションメカニズムであるKwai Summary Attention (KSA)を提案する。
  論文  参考訳（メタデータ） (2026-04-27T12:59:53Z)
• SERFLOW: A Cross-Service Cost Optimization Framework for SLO-Aware Dynamic ML Inference [0.15039745292757667]
  以前の作業は、仮想マシン(VM)のコールドスタート、ロングテールなサービス時間分布でのリクエストなど、現実の要素をしばしば見落としています。 我々は、各MLクエリ(要求)を、内部または最終出口で終了するスパースモデルのパラメータの連続ブロックを構成する非巡回的なステージ列をトラバースするものとしてモデル化する。 SERFLOWは、Fベースのサーバレス機能(コンテナ)を活用し、各ステージで終了するリクエストのごく一部を占めるステージ固有のリソースプロビジョニングを使用することで、この問題に対処する。
  論文  参考訳（メタデータ） (2025-10-31T05:10:33Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• HyperFlexis: Joint Design of Algorithms and Systems for Multi-SLO Serving and Fast Scaling [19.154782641360253]
  現代の大規模言語モデル(LLM)が提供するシステムは、さまざまな長さ、優先順位、ステージ固有のサービスレベル目標(SLO)を持つ、高度に可変的な要求からの課題に直面している。 我々は,複数のSLO下でのスケジューリングとスケーリングを協調的に最適化するために,アルゴリズムとシステムレベルのイノベーションを統合した統一LLMサービスシステムHyperFlexisを提案する。
  論文  参考訳（メタデータ） (2025-08-21T18:40:20Z)
• Tempo: Application-aware LLM Serving with Mixed SLO Requirements [7.290735867969561]
  我々は、多様なLLMワークロード間のサービスゲインを最大化するように設計されたスケジューラであるTempoを紹介した。 我々の評価によると、Tempoは最先端の設計と比較して、最大で8.3$times$、最大で10.3$times$SLOのサービスゲインを改善する。
  論文  参考訳（メタデータ） (2025-04-24T05:55:21Z)
• Apt-Serve: Adaptive Request Scheduling on Hybrid Cache for Scalable LLM Inference Serving [22.66354939370058]
  Apt-Serveは、大規模言語モデル(LLM)推論サービスシステムにおける効果的なスループットを高めるために設計されたフレームワークである。 新たなハイブリッドキャッシュスキームでは、KVキャッシュとメモリ効率の高い隠れキャッシュを組み合わせることで、再利用可能な入力隠れ状態ベクタを実現し、バッチサイズを大きくし、要求を改善する。 Apt-Serveは,最先端の推論サービスシステムと比較して,スループットが最大8.8倍向上することを示す。
  論文  参考訳（メタデータ） (2025-04-10T06:51:23Z)
• ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
  ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。 我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T04:12:13Z)
• Queue management for slo-oriented large language model serving [3.0134961904579094]
  大規模言語モデル(LLM)サービスのためのキュー管理システムであるQLMを提案する。 QLMは、異なるモデルとSLOをまたいだバッチおよびインタラクティブなリクエストをリクエストキューで維持する。 リクエスト待ち時間(RWT)推定器を使用し、リクエストキューでのリクエスト待ち時間を推定する。
  論文  参考訳（メタデータ） (2024-06-05T21:17:34Z)
• RelayAttention for Efficient Large Language Model Serving with Long System Prompts [59.50256661158862]
  本稿では,長いシステムプロンプトを含むLCMサービスの効率を向上させることを目的とする。 これらのシステムプロンプトの処理には、既存の因果注意アルゴリズムにおいて、大量のメモリアクセスが必要である。 本稿では,DRAMから入力トークンのバッチに対して,DRAMから隠れた状態を正確に1回読み取ることのできるアテンションアルゴリズムであるRelayAttentionを提案する。
  論文  参考訳（メタデータ） (2024-02-22T18:58:28Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)
• Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System [54.588242387136376]
  エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。 まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。 次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。 第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
  論文  参考訳（メタデータ） (2021-01-17T03:45:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。