論文の概要: StraightLine: An End-to-End Resource-Aware Scheduler for Machine Learning Application Requests

• arxiv url: http://arxiv.org/abs/2407.18148v2
• Date: Fri, 6 Sep 2024 00:02:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-09 18:10:23.905599
• Title: StraightLine: An End-to-End Resource-Aware Scheduler for Machine Learning Application Requests
• Title（参考訳）: StraightLine: 機械学習アプリケーションリクエストのためのエンド・ツー・エンドのリソース・アウェア・スケジューリング
• Authors: Cheng-Wei Ching, Boyuan Guan, Hailu Xu, Liting Hu,
• Abstract要約: StraightLineは、機械学習アプリケーションのためのエンドツーエンドのリソース対応スケジューラである。 リクエストをそのユニークな特性に基づいてインテリジェントに配置する。 モデルデプロイメントのレスポンス時間と失敗率を大幅に削減できます。
• 参考スコア（独自算出の注目度）: 2.8172171019058387
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The life cycle of machine learning (ML) applications consists of two stages: model development and model deployment. However, traditional ML systems (e.g., training-specific or inference-specific systems) focus on one particular stage or phase of the life cycle of ML applications. These systems often aim at optimizing model training or accelerating model inference, and they frequently assume homogeneous infrastructure, which may not always reflect real-world scenarios that include cloud data centers, local servers, containers, and serverless platforms. We present StraightLine, an end-to-end resource-aware scheduler that schedules the optimal resources (e.g., container, virtual machine, or serverless) for different ML application requests in a hybrid infrastructure. The key innovation is an empirical dynamic placing algorithm that intelligently places requests based on their unique characteristics (e.g., request frequency, input data size, and data distribution). In contrast to existing ML systems, StraightLine offers end-to-end resource-aware placement, thereby it can significantly reduce response time and failure rate for model deployment when facing different computing resources in the hybrid infrastructure.
• Abstract（参考訳）: 機械学習(ML)アプリケーションのライフサイクルは、モデル開発とモデルデプロイメントの2つのステージから構成される。 しかし、従来のMLシステム(トレーニング固有のシステムや推論固有のシステム)は、MLアプリケーションのライフサイクルの特定のステージまたはフェーズにフォーカスする。 これらのシステムは、モデルトレーニングの最適化やモデル推論の加速を目標としており、クラウドデータセンタやローカルサーバ、コンテナ、サーバレスプラットフォームなど、現実のシナリオを常に反映しているとは限りません。 StraightLineは、ハイブリッドインフラストラクチャにおけるさまざまなMLアプリケーションリクエストに対して最適なリソース(コンテナ、仮想マシン、サーバレスなど)をスケジュールする、エンドツーエンドのリソース対応スケジューラです。 鍵となるイノベーションは、ユニークな特徴(例えば、要求頻度、入力データサイズ、データ分散)に基づいてリクエストをインテリジェントに配置する経験的動的配置アルゴリズムである。 既存のMLシステムとは対照的に、StraightLineはエンドツーエンドのリソース対応の配置を提供しており、ハイブリッドインフラストラクチャで異なるコンピューティングリソースに直面する場合、モデルデプロイメントのレスポンス時間と失敗率を大幅に削減することができる。

関連論文リスト

• In Situ Framework for Coupling Simulation and Machine Learning with Application to CFD [51.04126395480625]
  近年、流体力学計算を容易にする機械学習(ML)の多くの成功例が報告されている。 シミュレーションが大きくなるにつれて、従来のオフライン学習のための新しいトレーニングデータセットの生成は、I/Oとストレージのボトルネックを生み出します。 この作業は、この結合を単純化し、異種クラスタでのその場トレーニングと推論を可能にするソリューションを提供する。
  論文  参考訳（メタデータ） (2023-06-22T14:07:54Z)
• Online Evolutionary Neural Architecture Search for Multivariate Non-Stationary Time Series Forecasting [72.89994745876086]
  本研究は、オンラインニューロ進化に基づくニューラルアーキテクチャサーチ(ONE-NAS)アルゴリズムを提案する。 ONE-NASは、オンライン予測タスクのためにリカレントニューラルネットワーク(RNN)を自動設計し、動的にトレーニングする新しいニューラルネットワーク探索手法である。 その結果、ONE-NASは従来の統計時系列予測法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-20T22:25:47Z)
• On-device Training: A First Overview on Existing Systems [6.551096686706628]
  リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。 この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T19:22:29Z)
• Multi-Job Intelligent Scheduling with Cross-Device Federated Learning [65.69079337653994]
  フェデレートラーニング(FL)は、センシティブな生データを共有せずに、協調的なグローバル機械学習モデルのトレーニングを可能にする。 本稿では,複数のジョブを並列にトレーニングできる新しいマルチジョブFLフレームワークを提案する。 本稿では,元来の強化学習に基づくスケジューリング手法と元来のベイズ最適化に基づくスケジューリング手法を含む,複数のスケジューリング手法に基づく新しいインテリジェントスケジューリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-24T06:17:40Z)
• Parallel Successive Learning for Dynamic Distributed Model Training over Heterogeneous Wireless Networks [50.68446003616802]
  フェデレートラーニング(Federated Learning, FedL)は、一連の無線デバイスにモデルトレーニングを配布する一般的なテクニックとして登場した。 我々は,FedLアーキテクチャを3次元に拡張した並列逐次学習(PSL)を開発した。 我々の分析は、分散機械学習におけるコールド対ウォームアップモデルの概念とモデル慣性について光を当てている。
  論文  参考訳（メタデータ） (2022-02-07T05:11:01Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Dynamic Network-Assisted D2D-Aided Coded Distributed Learning [59.29409589861241]
  本稿では,デバイス間のロードバランシングのための新しいデバイス・ツー・デバイス(D2D)支援型符号化学習手法(D2D-CFL)を提案する。 最小処理時間を達成するための最適圧縮率を導出し、収束時間との接続を確立する。 提案手法は,ユーザが継続的にトレーニングデータを生成するリアルタイム協調アプリケーションに有用である。
  論文  参考訳（メタデータ） (2021-11-26T18:44:59Z)
• Clairvoyant Prefetching for Distributed Machine Learning I/O [9.490118207943192]
  I/Oは、特にクラウドやスーパーコンピュータのような分散環境において、機械学習トレーニングの大きなボトルネックとして現れています。 我々は、新しい機械学習I/O、HDMLPを作成し、I/Oボトルネックに取り組む。 HDMLPは、最先端のアプローチよりも優れたパフォーマンスを提供する、使いやすい、柔軟でスケーラブルなソリューションを提供します。
  論文  参考訳（メタデータ） (2021-01-21T17:21:42Z)
• AI-based Resource Allocation: Reinforcement Learning for Adaptive Auto-scaling in Serverless Environments [0.0]
  近年、サーバーレスコンピューティングはクラウドコンピューティングモデルの魅力的な新しいパラダイムとして現れています。 商用およびオープンソースのサーバレスコンピューティングプラットフォームに共通するアプローチは、ワークロードベースの自動スケーリングである。 本稿では、サーバーレスフレームワークにおける要求ベース自動スケーリングに対する強化学習アプローチの適用性について検討する。
  論文  参考訳（メタデータ） (2020-05-29T06:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。