論文の概要: DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference

• arxiv url: http://arxiv.org/abs/2606.02982v1
• Date: Tue, 02 Jun 2026 00:39:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.659595
• Title: DriftSched: Adaptive QoS-Aware Scheduling under Runtime Token Drift for Multi-Tenant GPU Inference
• Title（参考訳）: DriftSched:マルチテナントGPU推論のための実行時トーケンドリフト下での適応QoS対応スケジューリング
• Authors: Kathiravan Palaniappan,
• Abstract要約: 大規模言語モデル(LLM)推論サービスは、効率的なマルチテナントGPUスケジューリングの需要を増大させている。 本稿では,マルチテナントGPUスケジューリングのための適応型スケジューリングフレームワークDriftSchedを提案する。 このフレームワークは、不均一なマルチテナントワークロードの下で、FIFO、プライオリティ、重み付け、最短ジョブファースト(SJF)、老化優先度スケジューリングポリシーを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid growth of large language model (LLM) inference services has increased the demand for efficient multi-tenant GPU scheduling. While modern inference runtimes such as vLLM improve throughput through continuous batching and optimized memory management, accurately estimating the runtime cost of heterogeneous inference requests remains a significant challenge. In practice, observed output lengths often deviate from admission-time estimates, creating runtime token drift that can lead to workload misclassification, queue imbalance, increased tail latency, and degraded Quality-of-Service (QoS). This paper presents DriftSched, an adaptive QoS-aware scheduling framework for multi-tenant LLM inference serving on NVIDIA L4 GPUs. DriftSched combines workload classification, token-budget estimation, tenant-aware queue management, and runtime feedback-driven drift compensation to improve admission-time scheduling decisions. The framework evaluates FIFO, Priority, Weighted, Shortest-Job-First (SJF), and Aging Priority scheduling policies under heterogeneous multi-tenant workloads. Experimental results demonstrate measurable runtime token drift across workload categories. Adaptive bias correction reduces workload estimation error by an average of 38.8% (MAE) and 40.5% (RMSE), improving workload classification stability and scheduling accuracy. Among all evaluated schedulers, SJF achieves the best overall performance, reducing median end-to-end latency by approximately 42% and P99 latency by approximately 16% relative to FIFO under sustained GPU contention. The work contributes an adaptive drift-aware scheduling architecture, a runtime token-drift compensation mechanism, and a reproducible benchmarking framework for evaluating QoS-aware LLM inference scheduling on shared GPU infrastructure.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論サービスの急速な成長により、効率的なマルチテナントGPUスケジューリングの必要性が高まっている。 vLLMのような現代的な推論ランタイムは、連続的なバッチ処理と最適化されたメモリ管理を通じてスループットを改善するが、不均一な推論要求のランタイムコストを正確に見積もるのは大きな課題である。 実際に、観測されたアウトプットの長さは、入力時の見積から逸脱し、ワークロードのミス分類、キューの不均衡、テールレイテンシの増大、品質・オブ・サービス(QoS)の低下につながるランタイムトークンドリフトを生成する。 本稿では,NVIDIA L4 GPU 上で動作するマルチテナント LLM 推論のための適応型QoS対応スケジューリングフレームワーク DriftSched を提案する。 DriftSchedは、ワークロードの分類、トークン予算の推定、テナント対応キュー管理、実行時のフィードバック駆動ドリフト補償を組み合わせて、入場時間スケジューリングの決定を改善する。 このフレームワークは、不均一なマルチテナントワークロードの下で、FIFO、プライオリティ、重み付け、最短ジョブファースト(SJF)、老化優先度スケジューリングポリシーを評価する。 実験の結果、ワークロードカテゴリ間で計測可能なランタイムトークンのドリフトが実証された。 適応バイアス補正は、負荷推定誤差を平均38.8%(MAE)と40.5%(RMSE)で低減し、負荷分類安定性とスケジューリング精度を向上させる。 評価されたスケジューラの中で、SJFは全体的なパフォーマンスを最高のものにし、中央値のエンドツーエンドレイテンシを約42%、P99レイテンシを約16%削減した。 この研究は、適応型ドリフト対応スケジューリングアーキテクチャ、ランタイムトークンドリフト補償機構、および、共有GPUインフラストラクチャ上でQoS対応のLLM推論スケジューリングを評価する再現可能なベンチマークフレームワークに貢献する。

関連論文リスト

• SOPE: Stabilizing Off-Policy Evaluation for Online RL with Prior Data [49.370849653460716]
  本稿では,アクタに整列したオフポリシー評価信号を用いたSOPEを,自動早期停止機構として提案する。 Minariベンチマークスイートから25の継続的制御タスクを評価した。 SOPEはベースライン性能を最大45.6%改善し、必要なTFLOPを最大22倍改善した。
  論文  参考訳（メタデータ） (2026-05-07T08:32:09Z)
• TempoNet: Slack-Quantized Transformer-Guided Reinforcement Scheduler for Adaptive Deadline-Centric Real-Time Dispatchs [8.818252253980985]
  TempoNetは、置換不変トランスフォーマーと深いQ近似を組み合わせた強化学習スケジューラである。 ブロックワイズのトップk選択と局所性に敏感なチャンキングを備えた遅延対応スパースアテンションスタックは、順序のないタスクセットに対するグローバルな推論を可能にする。
  論文  参考訳（メタデータ） (2026-02-20T09:56:23Z)
• EWSJF: An Adaptive Scheduler with Hybrid Partitioning for Mixed-Workload LLM Inference [1.7969777786551429]
  EWSJF(Effective Workload-based Shortest Job First)は、ワークロード構造をリアルタイムで学習し、公平性とスループットを共同で改善する。 EWSJFは、エンドツーエンドのスループットを30%以上改善し、FCFSと比較して、短い要求に対して平均的なタイム・ツー・ファースト・トークンを最大4倍削減する。
  論文  参考訳（メタデータ） (2026-01-29T14:14:16Z)
• Seer Self-Consistency: Advance Budget Estimation for Adaptive Test-Time Scaling [55.026048429595384]
  テストタイムスケーリングは、Large Language Models (LLMs) の推論性能を向上させるが、かなりの計算コストを発生させる。 トークン効率とレイテンシを同時に向上する動的自己整合性フレームワークであるSeerSCを提案する。
  論文  参考訳（メタデータ） (2025-11-12T13:57:43Z)
• FairBatching: Fairness-Aware Batch Formation for LLM Inference [2.0917668141703207]
  この研究は、この不公平の根本原因を特定する:時-時-時-(TBT)の非単調性 本稿では,タスクの充足と復号のリソース割り当てを公平に行う新しいシステムであるFair the Prioritizingを提案する。
  論文  参考訳（メタデータ） (2025-10-16T07:43:56Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• MACE: A Hybrid LLM Serving System with Colocated SLO-aware Continuous Retraining Alignment [14.392166280035122]
  エッジサーバにデプロイされる大規模言語モデル(LLM)は、パーソナライズされたアシスタント、レコメンデーション、コンテンツモデレーションといった遅延に敏感なアプリケーションでますます利用されている。 既存のリトレーニング戦略は、モデル更新の遅延、再トレーニングのための過剰コミットリソース、イテレーションレベルのリトレーニングの粒度を見落としている。 我々は,同時推論(プリフィル,デコード)と微調整を同時に行うハイブリッドLLMシステムであるMACEを提案し,知的メモリ管理により,推論スループットを約束しながらタスク性能を最大化する。
  論文  参考訳（メタデータ） (2025-09-28T18:45:28Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Client Orchestration and Cost-Efficient Joint Optimization for NOMA-Enabled Hierarchical Federated Learning [55.49099125128281]
  半同期クラウドモデルアグリゲーションの下で非直交多重アクセス(NOMA)を実現するHFLシステムを提案する。 提案手法は,HFLの性能改善と総コスト削減に関するベンチマークよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-11-03T13:34:44Z)
• Joint Device Scheduling and Resource Allocation for Latency Constrained Wireless Federated Learning [26.813145949399427]
  FL(Federated Learning)では、デバイスがローカルモデルの更新を無線チャネル経由でアップロードする。 モデル精度を最大化するために,共同装置スケジューリングと資源配分ポリシーを提案する。 実験の結果,提案手法は最先端のスケジューリング方式よりも優れていた。
  論文  参考訳（メタデータ） (2020-07-14T16:46:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。