論文の概要: Lightweight Scheduling Policies for Continuously Batched LLLM Serving Across GPU Architectures

• arxiv url: http://arxiv.org/abs/2610.15899v1
• Date: Sun, 11 Oct 2026 20:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-19 15:24:29.107748
• Title: Lightweight Scheduling Policies for Continuously Batched LLLM Serving Across GPU Architectures
• Title（参考訳）: GPUアーキテクチャ全体にわたる連続バッチLLLM実行のための軽量スケジューリングポリシー
• Abstract要約: モデルアーキテクチャやカーネル,スケジューラを変更することなく,軽量なスケジューリングポリシがレイテンシのトレードオフを改善するかどうかを検討する。 実際のHugging Faceの実行でPython/PyTorchの継続的バッチテストベンチを実装します。
• 参考スコア（独自算出の注目度）: 1.3254304182988286
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language model serving is increasingly limited not only by model size and GPU speed, but also by scheduling during autoregressive decoding, where continuous batching interleaves requests at token granularity as sequences arrive and finish. We study whether lightweight scheduling policies can improve latency-throughput tradeoffs without changing model architectures, kernels, or deploying learned schedulers. We implement a Python/PyTorch continuous-batching testbench with real Hugging Face execution and evaluate eight policies across 1,152 GPU-model-scheduler-workload runs using ShareGPT-derived traffic, six Qwen, Gemma, and Mistral models, and Modal L40S, A100, and H100 GPUs. Scheduler choice changes throughput, TTFT, completion latency, and tail behavior under fixed model, GPU, workload, batch size, and prefill budget. Aging shortest-prompt-first is the strongest practical baseline in many L40S and mixed-workload settings, while oracle remaining-length scheduling shows that job-size knowledge alone is insufficient because batching and hardware effects also shape performance. The custom dataset has been uploaded to Hugging Face.
• Abstract（参考訳）: 大規模な言語モデルの提供は、モデルのサイズやGPU速度だけでなく、自動回帰デコード中のスケジューリングによっても制限され、連続的なバッチ処理はシーケンスが到着して終了するにつれて、トークンの粒度でリクエストをインターリーブする。 モデルアーキテクチャやカーネルを変更したり、学習したスケジューラをデプロイしたりすることなく、軽量なスケジューリングポリシがレイテンシ・スループットのトレードオフを改善するかどうかを検討する。 我々は,Python/PyTorch連続バッチテストベンチを実際のHugging Face実行で実装し,ShareGPT由来のトラフィック,6つのQwen,Gemma,Mistralモデル,Modal L40S,A100,H100 GPUを使用して,1,152のGPUモデル-スケジューラ-ワークロードに対して8つのポリシを評価した。 スケジューラの選択はスループット、TTFT、完了遅延、固定モデル、GPU、ワークロード、バッチサイズ、プレフィル予算の下でのテール動作を変える。 多くのL40Sおよび混合ワークロード設定において、最短プロンプトファーストは最も実践的なベースラインであり、一方、オラクル残差スケジューリングは、バッチ処理とハードウェア効果がパフォーマンスを形作るため、ジョブサイズの知識だけでは不十分であることを示している。 カスタムデータセットはHugging Faceにアップロードされている。

関連論文リスト

• Nereus: Adaptive Parallelism for LLM Post-Training [7.105346413089921]
  Nereusは、RLポストトレーニングジョブを効率的な実行計画に適応させる、コスト対応ランタイムである。 DPスケーリングによって、最初の固定TP/PPレイアウトと比較して平均ステップレイテンシを27.7%削減する。 エンドツーエンドの8B PPOスループットを2.14--7.27$times$ over OpenRLHFと1.10--1.47$times$ over Verlで改善する。
  論文  参考訳（メタデータ） (2026-09-28T08:55:05Z)
• Global Simulation-Guided Dynamic Operator Scheduling for Efficient Multi-Tenant Model Serving [13.853492308825052]
  マルチテナントモデルサービスのための動的演算子レベルスケジューリングシステムであるSliceSchedulerを提案する。 鍵となるアイデアは、クラスタ全体のオペレータの実行状態を公開し、スケジュール決定よりも推論を有効にすることだ。 我々はSliceSchedulerが既存のアプローチと比較してトークンのスループットを1.10～2.29$times$で改善していることを示す。
  論文  参考訳（メタデータ） (2026-08-16T14:31:56Z)
• PersistentKV: Page-Aware Decode Scheduling for Long-Context LLM Serving on Commodity GPUs [0.8460698440162889]
  本稿では,ブロックテーブル型デコードアテンションエンジンPersistentKVとページ認識スケジューリング研究について述べる。 Per Per PersistentKVマップはKVヘッドグループによって動作し、ネイティブページテーブル上で直接実行される。 5つのホールドアウト種子は、バイモーダル、均一、Zipfライクなワークロードにおいて、平均壁の復号化スループットを1.04xから1.08x改善することを示した。
  論文  参考訳（メタデータ） (2026-06-25T06:56:43Z)
• Do Language Models Need Sleep? Offline Recurrence for Improved Online Inference [58.46323651532913]
  本研究では,モデルが周期的に最新のコンテキストを持続的な高速重みに変換する睡眠様統合機構について検討する。 睡眠中、モデルは蓄積したコンテキストにN$のオフラインリカレントパスを実行し、状態空間モデルの高速な重みを更新する。 睡眠時間の増加は,より深い推論を必要とする例では最大で,我々のモデルではN$の上昇がパフォーマンスを向上させることを示す。
  論文  参考訳（メタデータ） (2026-05-25T17:55:39Z)
• Semantic-Aware Scheduling for GPU Clusters with Large Language Models [60.14838697778884]
  我々は、スケジューラと管理するジョブ間のセマンティックギャップを橋渡しするフレームワークであるSchedMateを提案する。 SchedMateは見過ごされ、構造化されていないデータソース(ソースコード、ランタイムログ、履歴ジョブ)から深い洞察を抽出する。 我々は、SchedMateが平均ジョブ完了時間を最大1.91倍に短縮し、スケジューリング性能を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2025-10-02T02:01:02Z)
• Test-Time Training Done Right [61.8429380523577]
  テスト時間トレーニング(TTT)モデルは、推論中にモデルの重みの一部を適応させることによってコンテキストをモデル化する。 既存のTT手法は、長文データを扱う上で有効性を示すのに苦労した。 我々は,大規模チャンクテストタイムトレーニング(LaCT)を開発し,ハードウェア利用率を桁違いに向上させる。
  論文  参考訳（メタデータ） (2025-05-29T17:50:34Z)
• Priority-Aware Preemptive Scheduling for Mixed-Priority Workloads in MoE Inference [4.7730970530715835]
  大規模言語モデルは自然言語処理に革命をもたらしたが、データセンターで効率的に処理するのは難しい。 我々は、Mixture of Experts(MoE)モデル用に設計された新しい推論システムQLLMを紹介する。 QLLMはエキスパートレベルのプリエンプションを可能にし、LS Time-to-First-Token(TTFT)を最小化しながらBEジョブの実行を遅延させる。
  論文  参考訳（メタデータ） (2025-03-12T11:56:01Z)
• Plan-over-Graph: Towards Parallelable LLM Agent Schedule [53.834646147919436]
  大規模言語モデル(LLM)はタスク計画の推論において例外的な能力を示した。 本稿では,まず実生活のテキストタスクを実行可能なサブタスクに分解し,抽象的なタスクグラフを構築する,新しいパラダイムであるプランオーバーグラフを提案する。 モデルはこのタスクグラフを入力として理解し、並列実行計画を生成する。
  論文  参考訳（メタデータ） (2025-02-20T13:47:51Z)
• MARLIN: Mixed-Precision Auto-Regressive Parallel Inference on Large Language Models [58.3342517278868]
  本稿では,Mixed-precision AutoRegressive LINearカーネルの設計について述べる。 バッチサイズは16-32までサポートでき、量子化のスピードアップが最大 (4times$) になる。 MarLINは非同期メモリアクセス、複雑なタスクスケジューリング、パイプライン化といったテクニックを組み合わせてこれを実現している。
  論文  参考訳（メタデータ） (2024-08-21T16:10:41Z)
• DataStates-LLM: Lazy Asynchronous Checkpointing for Large Language Models [3.3484462092188005]
  モデルと状態シャードを構成するテンソルが、長期間にわたって不変であるという事実を生かして、遅延非同期マルチレベルアプローチを導入する。 その結果、48$times$より高速なチェックポイントと2.2$times$より高速なエンドツーエンドトレーニングを実現した。
  論文  参考訳（メタデータ） (2024-06-15T18:30:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。