論文の概要: From Overloaded to Guaranteed: High-Throughput Multi-SLO Enforcement for LoRA-Assisted On-Premise LLM Deployment
- arxiv url: http://arxiv.org/abs/2610.04956v1
- Date: Sun, 04 Oct 2026 05:04:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-11 07:35:41.217559
- Title: From Overloaded to Guaranteed: High-Throughput Multi-SLO Enforcement for LoRA-Assisted On-Premise LLM Deployment
- Title（参考訳）: 過負荷から保証:LoRA支援オンプレミズLSM展開のための高速マルチSLO強化
- Abstract要約: 本稿では,LoRAを利用したオンプレミスLLMデプロイメントに適したスケジューリング手法であるHALOを提案する。
緊急タスクの優先順位付けと交通整形のためのアイドル予算の利用により、HALOはリソース競合を著しく軽減する。
我々の評価では,HALOはSLO違反を最小限に抑えつつ,スループットを最先端のベースラインと比較する。
- 参考スコア（独自算出の注目度）: 29.111478921504062
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As Large Language Models (LLMs) become essential in privacy-sensitive sectors like hospitals and government agencies, the on-premise LLM servers offer a cost-effective and secure alternative to public cloud services. However, these resource-constrained servers struggle to guarantee heterogeneous Service Level Objectives (SLOs) when serving multiple LoRA-adapted services simultaneously. Existing serving frameworks suffer from severe SLO violations due to the computational overhead of LoRA layers and the rigid nature of batch scheduling. To address this, we propose HALO, a scheduling method tailored for LoRA-assisted on-premise LLM deployment. HALO introduces two key innovations: a spatial multiplexing strategy that overlaps Base and LoRA computations by partitioning GPU Streaming Multiprocessors (SMs), and an SLO-aware scheduler that decouples request execution based on "request-level slack." By prioritizing urgent tasks and utilizing idle budget for traffic shaping, HALO significantly mitigates resource contention. Our evaluation demonstrates that HALO minimizes SLO violations while improving throughput compared to state-of-the-art baselines.
- Abstract（参考訳）: 大きな言語モデル(LLM)が病院や政府機関のようなプライバシーに敏感なセクターに欠かせないようになると、オンプレミスのLLMサーバはパブリッククラウドサービスに代わる費用対効果とセキュアな代替手段を提供する。
しかしながら、リソース制約のあるサーバは、複数のLoRA対応サービスを同時に提供する場合、異種サービスレベルオブジェクト(SLO)を保証するのに苦労する。
既存のサービスフレームワークは、LoRA層の計算オーバーヘッドとバッチスケジューリングの厳格な性質のために、厳しいSLO違反に悩まされている。
そこで本稿では,LoRAを利用したオンプレミスLLMデプロイメントに適したスケジューリング手法であるHALOを提案する。
HALOでは,GPUストリーミングマルチプロセッサ(SM)をパーティショニングすることで,BaseとLoRAの計算を重複させる空間多重化戦略と,"要求レベルのスラック"に基づいて要求実行を分離するSLO対応スケジューラという,2つの重要なイノベーションを紹介している。
緊急タスクの優先順位付けと交通整形のためのアイドル予算の利用により、HALOはリソース競合を著しく軽減する。
我々の評価では,HALOはSLO違反を最小限に抑えつつ,スループットを最先端のベースラインと比較する。
関連論文リスト
- Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。
本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文 参考訳（メタデータ） (2026-01-30T10:54:51Z) - HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。
損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。
Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
論文 参考訳（メタデータ） (2026-01-16T07:37:23Z) - Quality-of-Service Aware LLM Routing for Edge Computing with Multiple Experts [18.479200918676575]
大きな言語モデル(LLM)は目覚ましい機能を示しており、LLMサービスのユーザ需要が大幅に増加した。
しかしながら、クラウドベースのLLMサービスは、高いレイテンシ、不安定な応答性、プライバシの懸念に悩まされることが多い。
本稿では,持続的高品質LLMサービスのための深層強化学習に基づくルーティングフレームワークを提案する。
論文 参考訳（メタデータ） (2025-08-01T00:45:15Z) - PolyServe: Efficient Multi-SLO Serving at Scale [6.147741784378271]
PolyServeは、スループットを最大化しながら高いSLO達成を維持できる、新しいマルチSLOスケジューリングポリシーである。
PolyServeは既存の政策と比べて1.23倍の利得を達成し、最適な利得の92.5%を達成している。
論文 参考訳（メタデータ） (2025-07-17T05:54:42Z) - ServerlessLoRA: Minimizing Latency and Cost in Serverless Inference for LoRA-Based LLMs [6.907528479144716]
現在のサーバレスは、LLM(General Large Language Model)を効果的に利用できますが、LoRA(Lo-Rank Adaptation)推論では失敗します。
これらの非効率さは、大量のGPUの浪費、TTFT(Time-to-First-Token)の増加、高い金銭的コストをもたらす。
より高速で安価なLoRA LLMサービス用に設計されたサーバーレス推論システムであるServerlessLoRAを提案する。
論文 参考訳（メタデータ） (2025-05-20T15:04:17Z) - Dynamic Low-Rank Sparse Adaptation for Large Language Models [54.1231638555233]
Low-rank Sparse Adaptation (LoSA)は、低ランク適応をsparse LLM sparsityにシームレスに統合する新しい手法である。
LoSAは、微調整中に対応するスパース重みに基づいてLoRA結果を動的に分散する。
LoSAは、追加の推論負荷を伴わずに、スパースLSMの有効性を数時間で効果的に向上させることができる。
論文 参考訳（メタデータ） (2025-02-20T18:37:32Z) - Autellix: An Efficient Serving Engine for LLM Agents as General Programs [59.673243129044465]
大規模言語モデル(LLM)アプリケーションは、単純なチャットボットを超えて、動的で汎用的なエージェントプログラムへと進化している。
既存のLLMサービスシステムは、プログラムと呼び出し間の依存関係を無視し、最適化のための大きな機会を欠いている。
プログラムを第一級市民として扱い、エンドツーエンドのレイテンシを最小限に抑えるLLMサービスシステムであるAutellixを紹介する。
論文 参考訳（メタデータ） (2025-02-19T18:59:30Z) - AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding [12.106234303559571]
本稿では,SLO-customized Speculative Decodingによる効率的なマルチSLOサービスを支援するために設計された,最初のサービスシステムであるAdaServeを紹介する。
AdaServeは制約付き最適化問題として機能するマルチSLOを定式化し、ハードウェア対応アルゴリズムを導入した。
システムスループットを最大化しつつ、復号速度のきめ細かい制御を可能にする推測-検証パイプラインを備えている。
論文 参考訳（メタデータ） (2025-01-21T14:15:01Z) - Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。
本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-24T05:24:41Z) - Queue management for slo-oriented large language model serving [3.0134961904579094]
大規模言語モデル(LLM)サービスのためのキュー管理システムであるQLMを提案する。
QLMは、異なるモデルとSLOをまたいだバッチおよびインタラクティブなリクエストをリクエストキューで維持する。
リクエスト待ち時間(RWT)推定器を使用し、リクエストキューでのリクエスト待ち時間を推定する。
論文 参考訳（メタデータ） (2024-06-05T21:17:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。