論文の概要: Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization

• arxiv url: http://arxiv.org/abs/2502.15763v1
• Date: Fri, 14 Feb 2025 16:00:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 02:51:36.511443
• Title: Hybrid Offline-online Scheduling Method for Large Language Model Inference Optimization
• Title（参考訳）: 大規模言語モデル推論最適化のためのハイブリッドオフラインオンラインスケジューリング手法
• Authors: Bowen Pang, Kai Li, Ruifeng She, Feifan Wang,
• Abstract要約: 大規模言語モデル(LLM)をデプロイするサービスシステムの推論最適化について検討する。 推論最適化問題を混合整数プログラミング(MIP)モデルとして定式化し,ハイブリッドオフライン方式をソリューションとして提案する。 LLaMA-65BモデルとGSM8Kデータセットの実際のデータを用いた実験では、システム利用率が80.2%から89.1%に改善され、総推定時間は201.00から190.58秒に短縮された。
• 参考スコア（独自算出の注目度）: 6.910292009760109
• License:
• Abstract: With the development of large language models (LLMs), it has become increasingly important to optimize hardware usage and improve throughput. In this paper, we study the inference optimization of the serving system that deploys LLMs. To optimize system throughput and maximize hardware utilization, we formulate the inference optimization problem as a mixed-integer programming (MIP) model and propose a hybrid offline-online method as solution. The offline method improves large-scale inference systems by introducing a Minimizing Makespan Bin Packing Problem. We further provide a theoretical lower bound computation method. Then, we propose an online sorting and preemptive scheduling method to better utilize hardware. In the online iteration scheduling process, a Lagrangian method is applied to evaluate the cost efficiency of inserting prefill stages versus decode stages at each iteration and dynamically determine when to preempt decoding tasks and insert prefill tasks. Experiments using real-world data from the LLaMA-65B model and the GSM8K dataset demonstrate that system utilization improves from 80.2% to 89.1%, and the total inference time decreases from 201.00 to 190.58 seconds. A 100-cases study shows that our method consistently outperforms the baseline method and improves the utilization rate by 8.0% on average. Finally, we discuss potential future extensions, including stochastic modeling, reinforcement learning-based schedulers, and dynamic decision-making strategies for system throughput and hardware utilization.
• Abstract（参考訳）: 大規模言語モデル(LLM)の開発により、ハードウェア使用量の最適化とスループット向上がますます重要になっている。 本稿では,LLMをデプロイするサービスシステムの推論最適化について検討する。 システムスループットの最適化とハードウェア利用の最大化を目的として,MIPモデルとして推論最適化問題を定式化し,ハイブリッドオフライン方式をソリューションとして提案する。 オフライン方式は,Makespan Bin Packing 問題を最小化することで大規模推論システムを改善する。 さらに,理論的下界計算法を提案する。 そこで本研究では,ハードウェアをよりよく活用するためのオンラインソートおよびプリエンプティブスケジューリング手法を提案する。 オンラインイテレーションスケジューリングプロセスでは、プレフィルステージの挿入と各イテレーションにおけるデコードステージの挿入のコスト効率を評価し、デコードタスクのプリエンプティブとプリフィルタスクの挿入を動的に決定する。 LLaMA-65BモデルとGSM8Kデータセットの実際のデータを用いた実験では、システム利用率が80.2%から89.1%に改善され、総推定時間は201.00から190.58秒に短縮された。 100ケースの研究では,本手法がベースライン法より一貫して優れ,平均利用率8.0%向上することが示されている。 最後に,確率的モデリング,強化学習に基づくスケジューラ,システムのスループットとハードウェア利用に関する動的意思決定戦略など,将来的な拡張について論じる。

関連論文リスト

• Online Scheduling for LLM Inference with KV Cache Constraints [22.155429544207827]
  大規模言語モデル(LLM)推論は、レイテンシとリソース利用を最適化するための効率的なスケジューリングを必要とする集約的なプロセスである。 KVキャッシュのメモリを効果的に管理しながら、推論遅延を最小限に抑える新しいスケジューリングアルゴリズムを提案する。 我々の成果は、より持続的で費用対効果の高いLLMデプロイメントへの道筋を提供する。
  論文  参考訳（メタデータ） (2025-02-10T23:11:44Z)
• GDSG: Graph Diffusion-based Solution Generator for Optimization Problems in MEC Networks [109.17835015018532]
  グラフ拡散型ソリューション生成(GDSG)法を提案する。 このアプローチは、おそらく最適な解に収束しながら、最適以下のデータセットを扱うように設計されている。 グラフニューラルネットワーク(GNN)を用いたマルチタスク拡散モデルとしてGDSGを構築し,高品質な解の分布を求める。
  論文  参考訳（メタデータ） (2024-12-11T11:13:43Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• End-to-End Learning for Fair Multiobjective Optimization Under Uncertainty [55.04219793298687]
  機械学習における予測-Then-Forecast(PtO)パラダイムは、下流の意思決定品質を最大化することを目的としている。 本稿では,PtO法を拡張して,OWA(Nondifferentiable Ordered Weighted Averaging)の目的を最適化する。 この結果から,不確実性の下でのOWA関数の最適化とパラメトリック予測を効果的に統合できることが示唆された。
  論文  参考訳（メタデータ） (2024-02-12T16:33:35Z)
• Toward Rapid, Optimal, and Feasible Power Dispatch through Generalized Neural Mapping [0.0]
  パワーディスパッチ問題を解決するための学習ベースアプローチとして LOOP-LC 2.0 を提案する。 LOOP-LC 2.0フレームワークの顕著な利点は、ソリューションのほぼ最適性と厳密な実現性を保証する能力である。 本稿では, LOOP-LC 2.0法の有効性を, 学習速度, 計算時間, 最適性, ソリューション実現可能性の観点から示す。
  論文  参考訳（メタデータ） (2023-11-08T17:02:53Z)
• Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
  フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。 本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
  論文  参考訳（メタデータ） (2023-10-23T16:37:59Z)
• Accelerating Exact Combinatorial Optimization via RL-based Initialization -- A Case Study in Scheduling [1.3053649021965603]
  本研究の目的は、最適化問題に対処する機械学習(ML)を用いた革新的なアプローチを開発することである。 1) 粗粒スケジューラとしての解法, 2) 解緩和, 3) ILPによる正確な解法の3つのステップを含む新しい2段階のRL-to-ILPスケジューリングフレームワークを導入する。 提案フレームワークは, 正確なスケジューリング手法と比較して, 最大128ドルの高速化を実現しつつ, 同一のスケジューリング性能を示す。
  論文  参考訳（メタデータ） (2023-08-19T15:52:43Z)
• Learning to Optimize Permutation Flow Shop Scheduling via Graph-based Imitation Learning [70.65666982566655]
  置換フローショップスケジューリング(PFSS)は製造業で広く使われている。 我々は,より安定かつ正確に収束を加速する専門家主導の模倣学習を通じてモデルを訓練することを提案する。 我々のモデルのネットワークパラメータはわずか37%に減少し、エキスパートソリューションに対する我々のモデルの解のギャップは平均6.8%から1.3%に減少する。
  論文  参考訳（メタデータ） (2022-10-31T09:46:26Z)
• Multi-Agent Deep Reinforcement Learning in Vehicular OCC [14.685237010856953]
  我々は車載OCCにおけるスペクトル効率最適化手法を提案する。 我々は最適化問題をマルコフ決定プロセス(MDP)としてモデル化し、オンラインで適用可能なソリューションの利用を可能にする。 提案手法の性能を広範囲なシミュレーションにより検証し,提案手法の様々な変種とランダムな手法との比較を行った。
  論文  参考訳（メタデータ） (2022-05-05T14:25:54Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Learning to Optimize: A Primer and A Benchmark [94.29436694770953]
  最適化への学習(L2O)は、機械学習を活用して最適化方法を開発する新しいアプローチです。 この記事では、継続的最適化のためのL2Oの総合的な調査とベンチマークを行う。
  論文  参考訳（メタデータ） (2021-03-23T20:46:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。