論文の概要: Block: Balancing Load in LLM Serving with Context, Knowledge and Predictive Scheduling

• arxiv url: http://arxiv.org/abs/2508.03611v1
• Date: Tue, 05 Aug 2025 16:27:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-06 18:18:56.072286
• Title: Block: Balancing Load in LLM Serving with Context, Knowledge and Predictive Scheduling
• Title（参考訳）: ブロック: LLMにおけるコンテキスト、知識、予測スケジューリングによる負荷分散
• Authors: Wei Da, Evangelia Kalyvianaki,
• Abstract要約: Blockは分散スケジューリングフレームワークで、ロードバランシングとサービスフレームワークのインスタンス間の自動プロビジョニングを最適化するように設計されている。 低オーバーヘッド、信頼性、スケーラビリティを実現するために、完全に分散し、ステートレスで予測可能なスケジューリングシステムとして動作する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents Block, a distributed scheduling framework designed to optimize load balancing and auto-provisioning across instances in large language model serving frameworks by leveraging contextual information from incoming requests. Unlike popular model serving systems that rely on monolithic and heuristic task schedulers, Block operates as a fully distributed, stateless, and predictive scheduling system to achieve low overhead, reliability, and scalability. It leverages the deterministic and predictable characteristics of LLM inferences, such as host configurations, response lengths, and hardware performance, to make scheduling decisions based on accurately predicted metrics. Evaluation on a 12 GPUs cluster shows that Block significantly outperforms heuristic schedulers, boosting serving capacity by up to 16.7\% and reducing P99 tail latency by up to 49.5\%. These performance gains remain consistent across diverse models, workloads and configurations. Code and data are open-sourced.
• Abstract（参考訳）: 本稿では,大規模言語モデルにおけるインスタンス間のロードバランシングと自動プロビジョニングを最適化するための分散スケジューリングフレームワークであるBlockについて述べる。 モノリシックでヒューリスティックなタスクスケジューラに依存する一般的なモデルサービスシステムとは異なり、Blockは低オーバーヘッド、信頼性、スケーラビリティを達成するために完全に分散し、ステートレスで予測可能なスケジューリングシステムとして動作する。 ホスト構成、応答長、ハードウェア性能などのLCM推論の決定論的および予測可能な特性を活用して、正確に予測されたメトリクスに基づいてスケジューリング決定を行う。 12GPUクラスタの評価によると、Blockはヒューリスティックスケジューラを著しく上回り、サービス容量を最大16.7\%、P99テールレイテンシを最大49.5\%削減している。 これらのパフォーマンス向上は、さまざまなモデル、ワークロード、構成にわたって一貫しています。 コードとデータはオープンソースである。

関連論文リスト

• Data Scaling Laws for End-to-End Autonomous Driving [83.85463296830743]
  16時間から8192時間に及ぶ内部駆動データセット上での簡易エンド・ツー・エンド駆動アーキテクチャの性能評価を行った。 具体的には、目標の性能向上を達成するために、どの程度のトレーニングデータが必要かを調査する。
  論文  参考訳（メタデータ） (2025-04-06T03:23:48Z)
• Efficiently Scaling LLM Reasoning with Certaindex [25.549811985276488]
  テストタイム推論アルゴリズムは、精度を向上することなく、多くのトークンを無駄に生成することができる。 本稿では,アルゴリズムに依存しない測定値であるCertaindexを導入する。 Certaindexは軽量で、早期終了による推論プログラムの推論を加速し、動的トークン割り当てを可能にする。
  論文  参考訳（メタデータ） (2024-12-30T14:57:53Z)
• Don't Stop Me Now: Embedding Based Scheduling for LLMs [22.099820814682513]
  SRPT(Shortest Remaining Process Time)のようなサイズベースのスケジューリングアルゴリズムは、平均的な要求完了時間を削減することを目的としている。 LLMシステムにおけるメモリオーバーヘッドを考慮した予測型SRPT変種を提案する。
  論文  参考訳（メタデータ） (2024-10-01T19:51:07Z)
• Load Balancing in Federated Learning [3.2999744336237384]
  Federated Learning(FL)は、複数のリモートデバイスに分散したデータからの学習を可能にする、分散機械学習フレームワークである。 本稿では,情報時代に基づくスケジューリングポリシーの負荷指標を提案する。 マルコフ連鎖モデルの最適パラメータを確立し、シミュレーションによりアプローチを検証する。
  論文  参考訳（メタデータ） (2024-08-01T00:56:36Z)
• Dynamic Scheduling for Federated Edge Learning with Streaming Data [56.91063444859008]
  我々は,長期的エネルギー制約のある分散エッジデバイスにおいて,トレーニングデータを時間とともにランダムに生成するフェデレーションエッジ学習(FEEL)システムを検討する。 限られた通信リソースとレイテンシ要件のため、各イテレーションでローカルトレーニングプロセスに参加するのはデバイスのサブセットのみである。
  論文  参考訳（メタデータ） (2023-05-02T07:41:16Z)
• Learning Mean-Field Control for Delayed Information Load Balancing in Large Queuing Systems [26.405495663998828]
  本研究では,多くのクライアント(ロードバランサ)と多数の並列キューで構成される遅延情報を備えたマルチエージェントロードバランシングシステムについて考察する。 我々は、最適負荷分散ソリューションを見つけるためにポリシー勾配強化学習アルゴリズムを適用した。 我々のアプローチはスケーラブルだが、Join-the-Shortest-Queue (JSQ)の最先端のパワー・オブ・ド・バリアントと比較すると、優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2022-08-09T13:47:19Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• Scheduling in Parallel Finite Buffer Systems: Optimal Decisions under Delayed Feedback [29.177402567437206]
  本稿では,遅延認識の限られた情報の下で並列キューシステムにおけるスケジューリング決定をキャプチャする部分観測可能(PO)モデルを提案する。 得られたポリシーが他の限られた情報スケジューリング戦略より優れていることを数値的に示す。 本稿では,Kaggleが提供するネットワークデータを用いてリアルタイム並列処理を最適化する方法を示す。
  論文  参考訳（メタデータ） (2021-09-17T13:45:02Z)
• Device Scheduling and Update Aggregation Policies for Asynchronous Federated Learning [72.78668894576515]
  Federated Learning (FL)は、新しく登場した分散機械学習(ML)フレームワークである。 本稿では,FLシステムにおけるトラグラー問題を排除するために,周期的なアグリゲーションを伴う非同期FLフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-23T18:57:08Z)
• Tailored Learning-Based Scheduling for Kubernetes-Oriented Edge-Cloud System [54.588242387136376]
  エッジクラウドシステムのための学習ベースのスケジューリングフレームワークkaisを紹介する。 まず,分散した要求ディスパッチに対応するために,協調型マルチエージェントアクタ-クリティックアルゴリズムを設計する。 次に,多種多様なシステムスケールと構造について,グラフニューラルネットワークを用いてシステム状態情報を埋め込む。 第3に、リクエストディスパッチとサービスオーケストレーションを調和させる2段階のスケジューリングメカニズムを採用します。
  論文  参考訳（メタデータ） (2021-01-17T03:45:25Z)
• A Predictive Autoscaler for Elastic Batch Jobs [8.354712625979776]
  Deep Learning、HPC、Sparkといった大規模なバッチジョブは、従来のオンラインサービスよりもはるかに多くの計算リソースとコストを必要とします。 顧客とオーバプロビジョンインスタンスに対して,柔軟なインターフェースを提供するための予測オートスケーラを提案する。
  論文  参考訳（メタデータ） (2020-10-10T17:35:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。