論文の概要: Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption

• arxiv url: http://arxiv.org/abs/2605.19593v1
• Date: Tue, 19 May 2026 09:39:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-20 15:03:09.254021
• Title: Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
• Title（参考訳）: マルチモデルLCMスケジューリングに向けて - オフロードとプリエンプションの実証的考察-
• Authors: Mert Yildiz, Pietro Spadaccino, Alexey Rolich, Francesca Cuomo, Andrea Baiocchi,
• Abstract要約: ハードウェアプラットフォーム全体で異なる言語モデルがどのように振る舞うかを示し、レイヤのオフロードとプリエンプションのパフォーマンスへの影響に注目します。 モデル固有のオフロード感度、ワークロード特性、プリエンプションとデータ転送のコスト構造など、将来のスケジューラが考慮すべき重要な特徴のセットを特定します。
• 参考スコア（独自算出の注目度）: 3.6129975381123107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deployments of Large Language Models (LLMs) increasingly require serving multiple models with diverse architectures, sizes, and specialization on shared, heterogeneous hardware. This setting introduces new challenges for resource allocation, dispatching, and scheduling, particularly under GPU memory constraints where partial CPU-GPU offloading and preemption become necessary. While existing systems primarily optimize throughput for a single model, comparatively little work addresses multi-model scheduling under these conditions. In this paper, we present an empirical study of how different LLMs behave across hardware platforms, focusing on the performance implications of layer offloading and preemption. We show that offloading leads to strongly non-linear and model-dependent degradation in decode throughput, with smaller models exhibiting sharper sensitivity to reduced GPU residency. We further demonstrate that preemption incurs substantial overhead, largely dominated by model state reload rather than key-value cache transfer, and that this cost varies significantly across models and hardware platforms. Additionally, we highlight the role of sequence length and interconnect bandwidth in amplifying data movement and execution inefficiencies. Based on these findings, we identify a set of key features that future schedulers must consider, including model-specific offloading sensitivity, workload characteristics, and the cost structure of preemption and data transfer. These insights provide guidance for the design of next-generation LLM serving systems capable of efficiently managing heterogeneous, multi-model workloads with hybrid CPU-GPU execution.
• Abstract（参考訳）: 大規模言語モデル(LLM)の現代的展開は、多種多様なアーキテクチャ、サイズ、共有された異種ハードウェアの特殊化による複数のモデルの提供をますます要求している。 この設定では、特にCPU-GPUオフロードとプリエンプションが必要とされるGPUメモリ制約の下で、リソース割り当て、ディスパッチ、スケジューリングに関する新たな課題が導入されている。 既存のシステムは、主に単一のモデルのスループットを最適化するが、これらの条件下では、比較的少ない作業でマルチモデルスケジューリングに対処する。 本稿では,レイヤオフロードとプリエンプションの性能に焦点をあて,ハードウェアプラットフォーム全体で異なるLCMがどのように振る舞うかを実証研究する。 オフローディングがデコードスループットの非線形およびモデル依存的な劣化を強く引き起こすことを示す。 さらに、プリエンプションは、キー値のキャッシュ転送よりもモデル状態のリロードが中心であり、このコストがモデルやハードウェアプラットフォーム間で大きく異なることを実証する。 さらに,データ移動と実行不効率の増幅において,シーケンス長と相互接続帯域幅が果たす役割を強調した。 これらの知見に基づいて、モデル固有のオフロード感度、ワークロード特性、プリエンプションとデータ転送のコスト構造など、将来のスケジューラが考慮すべき重要な特徴のセットを特定する。 これらの知見は、ハイブリッドCPU-GPU実行による異種多モデルワークロードを効率的に管理できる次世代LLMサービスシステムの設計のためのガイダンスを提供する。

関連論文リスト

• Stacked from One: Multi-Scale Self-Injection for Context Window Extension [69.24689919827817]
  Modelnameは、多粒度コンテキスト圧縮とクエリ対応情報取得に基づく新しいフレームワークである。 modelnameachievesパフォーマンスは、強いベースラインと同等か、優れている。
  論文  参考訳（メタデータ） (2026-03-05T03:16:16Z)
• Scaling LLM Speculative Decoding: Non-Autoregressive Forecasting in Large-Batch Scenarios [76.85739138203014]
  本稿では,一方向および注目メカニズムを加速する新しいアーキテクチャであるSpecFormerを紹介する。 また,SpecFormerはトレーニング要求の低減と計算コストの削減を実現している。
  論文  参考訳（メタデータ） (2025-11-25T14:20:08Z)
• SVTime: Small Time Series Forecasting Models Informed by "Physics" of Large Vision Model Forecasters [86.38433605933515]
  動的Webコンテンツを分析するには時系列AIが不可欠だ。 エネルギー集約的なトレーニング、推論、ハードウェアの要求を考えると、大きなモデルを1フィットのソリューションとして使うと、二酸化炭素のフットプリントと持続可能性に対する深刻な懸念が浮かび上がっています。 本稿では、長期時系列予測(LTSF)のための大型ビジョンモデル(LVM)予測器にインスパイアされた新しい小型モデルSVTimeを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:23Z)
• Characterizing the Efficiency of Distributed Training: A Power, Performance, and Thermal Perspective [6.51239603014107]
  大規模言語モデル(LLM)は、単一ノード分析の限界を超えて、トレーニングワークロードを推し進めている。 様々な実世界のワークロードとハードウェアプラットフォームにわたるLLMトレーニングの包括的特徴について述べる。
  論文  参考訳（メタデータ） (2025-09-12T16:05:07Z)
• Understanding and Optimizing Multi-Stage AI Inference Pipelines [11.254219071373319]
  HERMESは不均一な多段LPM推論実行シミュレータである。 HERMESは、以前のフレームワークとは異なり、複数のモデルを同時に実行する異種クライアントをサポートする。 我々は、推論ステージがエンドツーエンドのレイテンシ、ハイブリッドパイプラインの最適戦略、リモートKVキャッシュ検索のアーキテクチャ的影響について検討する。
  論文  参考訳（メタデータ） (2025-04-14T00:29:49Z)
• PLM: Efficient Peripheral Language Models Hardware-Co-Designed for Ubiquitous Computing [48.30406812516552]
  我々は、モデルアーキテクチャとエッジシステムの制約を協調的に最適化する共同設計プロセスを通じて開発された、周辺言語モデルであるPLMを紹介する。 PLMはMulti-head Latent Attentionメカニズムを採用し、正方形ReLUアクティベーション機能を採用してスパーシティを促進し、ピークメモリフットプリントを減少させる。 評価の結果, PLMは, 公開されているデータに基づいて訓練された既存の小言語モデルよりも優れていた。
  論文  参考訳（メタデータ） (2025-03-15T15:11:17Z)
• AutoHete: An Automatic and Efficient Heterogeneous Training System for LLMs [68.99086112477565]
  トランスフォーマーベースの大規模言語モデル(LLM)は、シーケンスモデリングやテキスト生成において例外的な機能を示した。 既存の異種トレーニング手法は、トレーニング可能なモデルの規模を大幅に拡大するが、かなりの通信オーバーヘッドとCPUワークロードを導入している。 本稿では,シングルGPU環境とマルチGPU環境の両方に互換性のある,自動的で効率的なヘテロジニアストレーニングシステムであるAutoHeteを提案する。
  論文  参考訳（メタデータ） (2025-02-27T14:46:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。