論文の概要: Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving

• arxiv url: http://arxiv.org/abs/2608.15762v1
• Date: Sun, 16 Aug 2026 14:31:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.4165
• Title: Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving
• Title（参考訳）: 効率的なマルチテナントモデル実行のためのグローバルシミュレーション誘導動的演算子スケジューリング
• Abstract要約: マルチテナントモデルサービスのための動的演算子レベルスケジューリングシステムであるSliceSchedulerを提案する。 鍵となるアイデアは、クラスタ全体のオペレータの実行状態を公開し、スケジュール決定よりも推論を有効にすることだ。 我々はSliceSchedulerが既存のアプローチと比較してトークンのスループットを1.10～2.29$times$で改善していることを示す。
• 参考スコア（独自算出の注目度）: 13.853492308825052
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Container-granularity scheduling leaves abundant short-lived idle slices within containers unexploited. Reallocating containers is too heavyweight to utilize such fine-grained opportunities under SLA constraints, and operator-level scheduling requires reasoning about dependencies, memory safety, and cluster-wide execution dynamics in real time. In this paper, we present SliceScheduler, a dynamic operator-level scheduling system for multi-tenant model serving. The key idea is to expose cluster-wide operator execution state and enable what-if reasoning over scheduling decisions. SliceScheduler consists of four key components. First, we introduce the Global Mapping Graph (GMG), a unified abstraction that captures operator dependencies, tensor shapes, resource mappings, and execution states, providing a real-time, cluster-wide view with explicit resource semantics. Second, we build a global simulator on top of GMG to predict operator-level execution and memory evolution under candidate placements. Third, we design an incremental, simulation-based scheduling module that selects placements to exploit fragmented idle slices while avoiding memory violations and preserving SLA. Finally, we develop an operator executor that materializes scheduling decisions on GPUs and coordinates computation and cross-accelerator transfers. We implement SliceScheduler as a PyTorch backend and evaluate it using production trace replay. Experimental results show that SliceScheduler improves token throughput by 1.10--2.29$\times$ compared to existing approaches, while maintaining SLA violations within 9\%. SliceScheduler demonstrates that operator-level scheduling is a practical and effective approach to improving GPU utilization for multi-tenant LLM serving.
• Abstract（参考訳）: コンテナの粒度スケジューリングでは、コンテナ内の短命なアイドルスライスを未公開のまま残している。 コンテナの再配置は、SLA制約の下でこのようなきめ細かい機会を利用するには重すぎるため、オペレータレベルのスケジューリングでは、依存関係、メモリ安全性、クラスタ全体の実行ダイナミクスをリアルタイムで推論する必要がある。 本稿では,マルチテナントモデルサービスのための動的演算子レベルスケジューリングシステムであるSliceSchedulerを提案する。 鍵となるアイデアは、クラスタ全体のオペレータの実行状態を公開し、スケジュール決定よりも推論を有効にすることだ。 SliceSchedulerは4つのキーコンポーネントで構成される。 まず、演算子依存、テンソル形状、リソースマッピング、実行状態をキャプチャする統合抽象化であるGlobal Mapping Graph(GMG)を導入し、明示的なリソースセマンティクスを備えたリアルタイムクラスタワイドビューを提供する。 第2に,GMG上にグローバルシミュレータを構築し,候補位置下での演算子レベルの実行とメモリ進化を予測する。 第3に,メモリ違反やSLAの保存を回避しつつ,断片化したアイドルスライスを利用する配置を選択する,インクリメンタルなシミュレーションベースのスケジューリングモジュールを設計する。 最後に,GPU上のスケジューリング決定を実現する演算子エグゼキュータを開発し,計算とクロスアクセラレータ転送を協調する。 PyTorchバックエンドとしてSliceSchedulerを実装し,実運用トレースリプレイを用いて評価する。 実験の結果、SliceSchedulerは既存のアプローチと比較してトークンのスループットを1.10--2.29$\times$で改善し、SLA違反を9.%以内で維持していることがわかった。 SliceScheduler氏は、マルチテナントLLMサービスにおけるGPU利用を改善するための、オペレータレベルのスケジューリングが実用的で効果的なアプローチであることを実証している。

関連論文リスト

• Cloud Workflow Scheduling Based on Graph Attention-Driven Hierarchical Reinforcement Learning [10.978371228753518]
  本稿では,GA-HRL(Graph Attention-Driven Reinforcement Learning)フレームワークとモデルスケジューリングプロセスを開発する。 タスク実行速度、配置に依存した通信、タスクとコンテナの決定の結合に対処しながら、納期満足度、コンテナ利用、エネルギー消費のバランスを取る。 2018年のAlibabaクラスタトレースの実験によると、GA-HRLは競争力のあるワークフローの成功率を維持しており、成功率が同等な環境では、コンテナの利用率の向上とエネルギー消費量の削減を実現している。
  論文  参考訳（メタデータ） (2026-09-14T02:50:40Z)
• PeakBench: Benchmarking Resource-Aware Tool Invocation in LLM Agents [79.28372522980153]
  PeakBenchは、実行可能なマルチツール依存アノテーションと測定リソースプロファイルのベンチマークである。 我々は,強い論理的計画が資源制約下での安全あるいは効率的な実行に確実に変換されないことを示す。 PeakBenchは、リソース認識エージェントの振る舞いの診断に有用なテストベッドである。
  論文  参考訳（メタデータ） (2026-08-25T12:56:08Z)
• Kalypso: Relational LLM Serving [6.264258565843104]
  既存のセマンティッククエリ処理システムは、クエリ計画に気付かない要求中心のLLMサービスシステムを呼び出す。 セマンティッククエリ計画のためのAPIを公開するリレーショナルLLMサービスシステムであるKalypsoを,適応型メモリ対応スケジューリングアルゴリズムを用いて提案する。 我々の評価によると、Kalypsoは要求中心のLLMサービスを使用してベースラインよりもクエリ完了時間を改善し、さまざまなワークロードで最大4.57倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2026-07-26T19:29:31Z)
• PlexRL: Cluster-Level Orchestration of Serviceized LLM Execution for RLVR [33.08614139144317]
  RLVRジョブ間で統一LLMサービスを多重化するクラスタレベルのランタイムPlexRLを提案する。 PlexRLはクラスタの有効容量を大幅に向上し,ユーザGPUの時間コストを最大37.58%削減することを示す。
  論文  参考訳（メタデータ） (2026-05-20T07:55:06Z)
• Scepsy: Serving Agentic Workflows Using Aggregate LLM Pipelines [0.7551404527457958]
  任意のマルチLLMエージェントをGPUクラスタに効率的にスケジュールする新しいエージェントサービスシステムについて述べる。 Scepsyは、LLMを独立して最適化するシステムと比較して、最大2.4倍のスループットと27倍のレイテンシを実現している。
  論文  参考訳（メタデータ） (2026-04-16T16:15:29Z)
• Chimera: Latency- and Performance-Aware Multi-agent Serving for Heterogeneous LLMs [62.17306142810532]
  ヘテロジニアスLSMクラスタ上で動作するマルチエージェントワークフローの予測スケジューリングシステムであるChimeraを提案する。 Chimeは最高のレイテンシをトレースし、エンドツーエンドのレイテンシを1.2-2.4$times$で削減し、タスクパフォーマンスを平均8.0-9.5ポイント改善する。
  論文  参考訳（メタデータ） (2026-03-23T17:01:42Z)
• Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
  我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。 SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。 我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-02T02:01:02Z)
• Is the GPU Half-Empty or Half-Full? Practical Scheduling Techniques for LLMs [3.7758841366694353]
  文献および実用サービスシステムからスケジューリング手法を調査する。 文献からのスケジューラは、しばしば優れたパフォーマンスを得るが、かなりの複雑さをもたらす。 対照的に、実際のデプロイメントにおけるスケジューラは、しばしばテーブルに簡単にパフォーマンス向上を残しますが、実装、デプロイ、設定が容易です。
  論文  参考訳（メタデータ） (2024-10-23T13:05:46Z)
• Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
  Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:50Z)
• NumS: Scalable Array Programming for the Cloud [82.827921577004]
  タスクベース分散システム上でNumPyのような表現を最適化する配列プログラミングライブラリであるNumSを提案する。 これはLoad Simulated Hierarchical Scheduling (LSHS)と呼ばれる新しいスケジューラによって実現される。 LSHSは、ネットワーク負荷を2倍減らし、メモリを4倍減らし、ロジスティック回帰問題において実行時間を10倍減らし、Rayの性能を向上させる。
  論文  参考訳（メタデータ） (2022-06-28T20:13:40Z)
• Gradient Coding with Dynamic Clustering for Straggler-Tolerant Distributed Learning [55.052517095437]
  勾配降下(GD)は、複数の労働者にデータセットを分散することで学習タスクの並列化に広く用いられている。 分散同期gdにおけるイテレーション完了時間ごとの重要なパフォーマンスボトルネックは$straggling$ workersである。 コード化された分散技術は、最近ストラグラーを緩和し、労働者に冗長な計算を割り当てることでgdイテレーションを高速化するために導入された。 本稿では,従来のトラグリング動作に依存する可能性のあるコードの中から,冗長なデータを労働者に割り当てて選択する動的GC方式を提案する。
  論文  参考訳（メタデータ） (2021-03-01T18:51:29Z)
• Gradient Coding with Dynamic Clustering for Straggler Mitigation [57.9123881133818]
  GC-DCは、前回のイテレーションにおけるストラグラーの振る舞いに基づいて、各クラスタ内のストラグラーワーカ数を規制する。 本稿では,GC-DCが従来のGC方式に比べて通信負荷を増大させることなく,各イテレーションの平均完了時間(各イテレーション)を大幅に改善できることを数値的に示す。
  論文  参考訳（メタデータ） (2020-11-03T18:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。