論文の概要: Scavenger: A Cloud Service for Optimizing Cost and Performance of ML Training

• arxiv url: http://arxiv.org/abs/2303.06659v1
• Date: Sun, 12 Mar 2023 13:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-14 17:37:02.317148
• Title: Scavenger: A Cloud Service for Optimizing Cost and Performance of ML Training
• Title（参考訳）: Scavenger: MLトレーニングのコストとパフォーマンスを最適化するクラウドサービス
• Authors: Sahil Tyagi, Prateek Sharma
• Abstract要約: 我々は,クラウド上での分散MLモデルトレーニングのトレーニング時間とコストを最適化するための,原則的かつ実用的な手法を開発した。 従来の並列スケーリングの概念とSGDノイズに対する新たな洞察を組み合わせることで,クラスタ構成の異なる時間とコストを5%の誤差で正確に推定する。
• 参考スコア（独自算出の注目度）: 1.047192732651018
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While the pay-as-you-go nature of cloud virtual machines (VMs) makes it easy to spin-up large clusters for training ML models, it can also lead to ballooning costs. The 100s of virtual machine sizes provided by cloud platforms also makes it extremely challenging to select the ``right'' cloud cluster configuration for training. Furthermore, the training time and cost of distributed model training is highly sensitive to the cluster configurations, and presents a large and complex tradeoff-space. In this paper, we develop principled and practical techniques for optimizing the training time and cost of distributed ML model training on the cloud. Our key insight is that both parallel and statistical efficiency must be considered when selecting the optimum job configuration parameters such as the number of workers and the batch size. By combining conventional parallel scaling concepts and new insights into SGD noise, our models accurately estimate the time and cost on different cluster configurations with < 5% error. Using the repetitive nature of training and our models, we can search for optimum cloud configurations in a black-box, online manner. Our approach reduces training times by 2 times and costs more more than 50%. Compared to an oracle-based approach, our performance models are accurate to within 2% such that the search imposes an overhead of just 10%.
• Abstract（参考訳）: クラウド仮想マシン(VM)のペイ・アズ・ユースの性質は、大規模なクラスタをスピンアップしてMLモデルをトレーニングすることを容易にしますが、バルーンのコストにもつながります。 クラウドプラットフォームが提供する100の仮想マシンサイズも、トレーニング用に‘right’クラウドクラスタ構成を選択するのを極めて困難にしている。 さらに、分散モデルトレーニングのトレーニング時間とコストはクラスタ構成に非常に敏感であり、大規模で複雑なトレードオフスペースを提供する。 本稿では,クラウド上での分散MLモデルトレーニングのトレーニング時間とコストを最適化するための,原則的かつ実用的な手法を開発する。 私たちの重要な洞察は、ワーカー数やバッチサイズといった最適なジョブ構成パラメータを選択する際に、並列性と統計効率の両方を考慮する必要があるということです。 従来の並列スケーリングの概念とSGDノイズに対する新たな洞察を組み合わせることで,クラスタ構成の異なる時間とコストを5%の誤差で正確に推定する。 トレーニングの繰り返しの性質とモデルを使用すれば、ブラックボックスのオンライン方法で最適なクラウド構成を検索できます。 当社のアプローチでは,トレーニング時間を2倍に短縮し,コストを50%以上削減しています。 オラクルベースのアプローチと比較して、我々のパフォーマンスモデルは2%以内の精度で検索が10%のオーバーヘッドを課す。

関連論文リスト

• Effective pruning of web-scale datasets based on complexity of concept clusters [48.125618324485195]
  本稿では,大規模なマルチモーダルデータセットを抽出し,イメージネット上でCLIPスタイルのモデルを訓練する手法を提案する。 高品質なデータのより小さなセットでのトレーニングは、トレーニングコストを大幅に削減して、より高いパフォーマンスをもたらす可能性があることに気付きました。 我々は38の評価タスクにおいて、新しい最先端のImagehttps://info.arxiv.org/help/prep#commentsネットゼロショット精度と競合平均ゼロショット精度を実現する。
  論文  参考訳（メタデータ） (2024-01-09T14:32:24Z)
• How Can We Train Deep Learning Models Across Clouds and Continents? An Experimental Study [57.97785297481162]
  代表的なCV, NLP, ASRモデルに対して, 異なるゾーン, 大陸, 雲におけるトレーニングの費用とスループットについて検討した。 スポット価格を活用することで、複数の安価なインスタンスでモデルをトレーニングし、より集中的かつ強力なハードウェアと、競争力のある価格でオンデマンドのクラウド製品の両方を台無しにする、新たなコスト効率の方法が実現されることを示す。
  論文  参考訳（メタデータ） (2023-06-05T18:17:37Z)
• MILO: Model-Agnostic Subset Selection Framework for Efficient Model Training and Tuning [68.12870241637636]
  モデル学習からサブセット選択を分離するモデルに依存しないサブセット選択フレームワークMILOを提案する。 実験結果から、MILOはモデルを3ドル(約3,300円)でトレーニングし、ハイパーパラメータを20ドル(約2,300円)でチューニングできます。
  論文  参考訳（メタデータ） (2023-01-30T20:59:30Z)
• Sparse Upcycling: Training Mixture-of-Experts from Dense Checkpoints [59.39280540478479]
  密なチェックポイントから疎活性化されたMixture-of-Expertsモデルを初期化することにより、サンクトレーニングコストを再利用する簡単な方法であるスパースアップサイクリングを提案する。 我々は, 比較的高サイクルなT5 Base, Large, XL言語モデル, Vision Transformer Base と Large モデルが, SuperGLUE と ImageNet の高密度モデルよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-09T18:57:37Z)
• Sampling Streaming Data with Parallel Vector Quantization -- PVQ [0.0]
  本稿では,データストリームのクラス不均衡を大幅に低減するベクトル量子化に基づくサンプリング手法を提案する。 並列処理、バッチ処理、ランダムにサンプルを選択するモデルを構築しました。 本手法により,データストリームの事前処理により,分類モデルの精度が向上することを示す。
  論文  参考訳（メタデータ） (2022-10-04T17:59:44Z)
• Decentralized Training of Foundation Models in Heterogeneous Environments [77.47261769795992]
  GPT-3 や PaLM のようなトレーニング基盤モデルは、非常に高価である。 ヘテロジニアスネットワーク上での分散型システムにおけるモデル並列化を用いた大規模基盤モデルのトレーニングに関する最初の研究について述べる。
  論文  参考訳（メタデータ） (2022-06-02T20:19:51Z)
• Online Convolutional Re-parameterization [51.97831675242173]
  2段階のパイプラインであるオンライン畳み込み再パラメータ化(OREPA)は、複雑なトレーニング時間ブロックを単一の畳み込みに絞ることで、巨大なトレーニングオーバーヘッドを低減することを目的としている。 最先端のre-paramモデルと比較して、OREPAはトレーニング時間のメモリコストを約70%削減し、トレーニング速度を約2倍向上させることができる。 また、オブジェクト検出とセマンティックセグメンテーションの実験を行い、下流タスクに一貫した改善を示す。
  論文  参考訳（メタデータ） (2022-04-02T09:50:19Z)
• Cocktail: Leveraging Ensemble Learning for Optimized Model Serving in Public Cloud [9.149566952446058]
  コスト効率の良いアンサンブル型モデル提供フレームワークであるCocktailを提案する。 AWS EC2プラットフォームであるCocktailonのプロトタイプ実装と、さまざまなワークロードを使用した徹底的な評価オプションにより、Cocktailcanがデプロイメントコストを1.45倍削減できることが示されている。
  論文  参考訳（メタデータ） (2021-06-09T19:23:58Z)
• Characterizing and Modeling Distributed Training with Transient Cloud GPU Servers [6.56704851092678]
  CM-DAREを用いて,多様なクラスタ構成下での分散トレーニング性能を解析する。 私たちの経験的データセットには、3つのGPUタイプ、6つの地理的領域、20の畳み込みニューラルネットワーク、数千のGoogle Cloudサーバからの計測が含まれています。 また、回帰モデルを用いてトレーニング速度とオーバーヘッドを予測することが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-07T01:49:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。