論文の概要: FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving

• arxiv url: http://arxiv.org/abs/2610.06917v1
• Date: Fri, 02 Oct 2026 18:49:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.464771
• Title: FluidPD: In-Place Elasticity for SLO-Aware Prefill-Decode Disaggregated LLM Serving
• Title（参考訳）: FluidPD: SLO-Aware Prefill-Decode Disaggregated LLM Serving用インパス弾性
• Abstract要約: 既存のシステムは、固定されたプリフィル/デコードワーカー比とワーカー間のリクエストルーティングを組み合わせるのが一般的である。 ワークロードは、短期間のバーストと、プリフィル・トゥ・デコード需要比の持続的なシフトの両方を示します。 我々は,SLO対応の現地弾性を提供するP/D分散サービスシステムであるFluidPDを提案する。
• 参考スコア（独自算出の注目度）: 12.52698158942568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prefill-decode disaggregation is becoming a common architecture for LLM serving because it separates two phases with distinct execution patterns and SLO objectives. Existing systems typically combine a fixed prefill/decode worker ratio with request routing across workers. However, real-world workloads exhibit both short bursts and sustained shifts in the prefill-to-decode demand ratio. As a result, a configuration that is well provisioned at one time may quickly become mismatched, causing latency SLO violations even when idle capacity exists elsewhere. Existing autoscaling mechanisms can add capacity, but they react slowly, require spare GPUs, and do not directly address short-timescale phase imbalance. We present FluidPD, a P/D-disaggregated serving system that provides SLO-aware in-place elasticity. FluidPD introduces two complementary mechanisms. FluidToken handles transient imbalance by offloading a bounded portion of prefill computation to decode workers when decode-side slack is available. FluidRole handles sustained imbalance by reassigning running workers between prefill and decode roles in place, avoiding model reload and engine restart. Both mechanisms are guided by lightweight pressure indices that expose prefill and decode-side resource pressure before they appear as SLO violations. Across production Azure trace workloads, FluidPD improves overall SLO attainment over static SGLang by up to 94.6 percentage points, demonstrating that SLO-aware in-place P/D elasticity improves service quality without provisioning additional workers.
• Abstract（参考訳）: プリフィル・デコード・デアグリゲーション(Prefill-Decode Disaggregation)は、異なる実行パターンとSLOの目的を持つ2つのフェーズを分離するため、LLMサービスの共通アーキテクチャになりつつある。 既存のシステムは、固定されたプリフィル/デコードワーカー比とワーカー間のリクエストルーティングを組み合わせるのが一般的である。 しかし、現実のワークロードは、短いバーストと、プリフィル・トゥ・デコード需要比の持続的なシフトの両方を示します。 その結果、一度に適切に設定された構成は、すぐにミスマッチし、アイドル容量が他の場所で存在しても遅延SLO違反を引き起こす。 既存の自動スケーリングメカニズムはキャパシティを増すことができるが、反応はゆっくりであり、予備のGPUを必要とし、短時間の位相不均衡に対処する必要はない。 我々は,SLO対応の現地弾性を提供するP/D分散サービスシステムであるFluidPDを提案する。 FluidPDは2つの相補的なメカニズムを導入する。 FluidTokenは、デコードサイドのスラックが利用可能になったときにワーカーをデコードするために、プリフィル計算の有界部分をオフロードすることで、過渡的不均衡を処理する。 FluidRoleは、実行中のワーカーをプリフィルとデコードロールの間で再割り当てし、モデルのリロードやエンジンの再起動を避けることで、持続的不均衡を処理します。 両方のメカニズムは、SLO違反として現れる前に、プリフィルとデコード側のリソース圧力を露呈する軽量な圧力指標によって導かれる。 運用中のAzureトレースワークロード全体で、FluidPDは静的SGLang上のSLO全体の達成率を最大94.6ポイント改善している。

関連論文リスト

• DSpark: Confidence-Scheduled Speculative Decoding with Semi-Autoregressive Generation [69.8840101036735]
  投機的復号化はLarge Language Model (LLM)推論を加速させる。 最近の並列起草者は、1つの前方通過で長いトークン列を効率的に提案するが、トークン間の依存関係が欠如しているため、急速に受け入れが低下する。 我々はDSparkという投機的復号化フレームワークを導入し、高いスループットの並列生成を適応的かつロードアウェアな検証と統合する。
  論文  参考訳（メタデータ） (2026-07-06T14:28:06Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• PLA-Serve: A Prefill-Length-Aware LLM Serving System [33.313531352453346]
  PLA-Serveは、TTFTレイテンシを低減するために、異なるプロンプト長でリクエストを特定し、分解する。 提案手法は,適応型スケジューリング戦略のモチベーションとして,応答長の変動がボトルネックを生じさせることを観察する。 PLA-Serveは、プリフィル*-Lang*デコードデアグリゲーションの下でのバニラSGと比較して、プリフィル遅延を30%以上削減する。
  論文  参考訳（メタデータ） (2026-01-04T18:14:24Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding [12.106234303559571]
  本稿では,SLO-customized Speculative Decodingによる効率的なマルチSLOサービスを支援するために設計された,最初のサービスシステムであるAdaServeを紹介する。 AdaServeは制約付き最適化問題として機能するマルチSLOを定式化し、ハードウェア対応アルゴリズムを導入した。 システムスループットを最大化しつつ、復号速度のきめ細かい制御を可能にする推測-検証パイプラインを備えている。
  論文  参考訳（メタデータ） (2025-01-21T14:15:01Z)
• HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location [6.727166537196941]
  大規模言語モデル(LLM)は、異なるサービスレベルの目的(SLO)を持つ幅広いアプリケーションを容易にした。 既存のデプロイメントモデルは、各ワークロードにマシンを割り当て、SLO管理を単純化するが、リソース利用の低さにつながることが多い。 本稿では、オンラインおよびオフラインワークロードの効率的なコロケーションを可能にする干渉対応LLMサービスシステムであるHyGenを紹介する。
  論文  参考訳（メタデータ） (2025-01-15T16:32:27Z)
• Digital Twin-Assisted Federated Learning with Blockchain in Multi-tier Computing Systems [67.14406100332671]
  産業用 4.0 システムでは、リソース制約のあるエッジデバイスが頻繁にデータ通信を行う。 本稿では,デジタルツイン (DT) とフェデレーション付きデジタルツイン (FL) 方式を提案する。 提案手法の有効性を数値解析により検証した。
  論文  参考訳（メタデータ） (2024-11-04T17:48:02Z)
• Efficient Parallel Split Learning over Resource-constrained Wireless Edge Networks [44.37047471448793]
  本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。 そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。 提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2023-03-26T16:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。