論文の概要: SpotTune: Leveraging Transient Resources for Cost-efficient Hyper-parameter Tuning in the Public Cloud

• arxiv url: http://arxiv.org/abs/2012.03576v1
• Date: Mon, 7 Dec 2020 10:32:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-21 02:01:23.603398
• Title: SpotTune: Leveraging Transient Resources for Cost-efficient Hyper-parameter Tuning in the Public Cloud
• Title（参考訳）: SpotTune: パブリッククラウドにおけるコスト効率の高いハイパーパラメータチューニングのためのトランジェントリソースを活用する
• Authors: Yan Li, Bo An, Junming Ma, Donggang Cao, Yasha Wang, Hong Mei
• Abstract要約: 我々は,hptを並列かつコスト効率のよい方法で実現するための戦略をいくつか備えた,パブリッククラウドにおける過渡的再利用可能なリソースを活用したアプローチであるspottuneを提案する。 評価の結果,SpotTuneは最大90%のコスト削減と16.61倍の性能向上を実現している。
• 参考スコア（独自算出の注目度）: 31.28299952773344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hyper-parameter tuning (HPT) is crucial for many machine learning (ML) algorithms. But due to the large searching space, HPT is usually time-consuming and resource-intensive. Nowadays, many researchers use public cloud resources to train machine learning models, convenient yet expensive. How to speed up the HPT process while at the same time reduce cost is very important for cloud ML users. In this paper, we propose SpotTune, an approach that exploits transient revocable resources in the public cloud with some tailored strategies to do HPT in a parallel and cost-efficient manner. Orchestrating the HPT process upon transient servers, SpotTune uses two main techniques, fine-grained cost-aware resource provisioning, and ML training trend predicting, to reduce the monetary cost and runtime of HPT processes. Our evaluations show that SpotTune can reduce the cost by up to 90% and achieve a 16.61x performance-cost rate improvement.
• Abstract（参考訳）: ハイパーパラメータチューニング(HPT)は多くの機械学習(ML)アルゴリズムにおいて重要である。 しかし、大規模な検索スペースのため、HPTは通常時間とリソースを消費する。 現在、多くの研究者がパブリッククラウドリソースを使用して機械学習モデルをトレーニングしている。 hptプロセスをスピードアップすると同時にコストを削減することは、クラウドmlユーザにとって非常に重要だ。 本稿では,hptを並列かつコスト効率のよい方法で実現するための戦略として,パブリッククラウドにおける過渡的再利用可能なリソースを活用する手法であるspottuneを提案する。 一時的なサーバ上でHPTプロセスをオーケストレーションするSpotTuneは、HPTプロセスの金銭的コストと実行時間を削減するために、きめ細かなコスト対応リソースプロビジョニングとMLトレーニングトレンド予測という、2つの主要なテクニックを使用している。 評価の結果,SpotTuneは最大90%のコスト削減と16.61倍の性能向上を実現している。

関連論文リスト

• Adaptive Layer Selection for Efficient Vision Transformer Fine-Tuning [18.776903525210933]
  我々は、$textbfALaST$(textitAdaptive Layer Selection Fine-Tuning for Vision Transformers$)と呼ばれるViTの効率的な微調整方法を紹介した。 我々のアプローチは、すべての層が微調整中に等しく重要であるわけではなく、その重要性が現在のミニバッチによって異なるという観察に基づいている。 この適応型計算アロケーションは,計算資源の分散に最適に近いスケジュールを実現できることを示す。
  論文  参考訳（メタデータ） (2024-08-16T11:27:52Z)
• Sparse Matrix in Large Language Model Fine-tuning [1.9874264019909988]
  本稿では,PEFTとフル微調整性能の差を最小限に抑えるために,スパースサブ行列を選択する手法を提案する。 実験では,本手法が他のPEFTベースラインを一貫して上回ることを示した。 また,訓練可能なパラメータの数が増加するにつれて,LoRAとDoRAの性能が低下する傾向を示す。
  論文  参考訳（メタデータ） (2024-05-24T13:12:14Z)
• SpotServe: Serving Generative Large Language Models on Preemptible Instances [64.18638174004151]
  SpotServeは、プリエンプティブルインスタンスにシステムを提供する最初の分散大規模言語モデルである。 SpotServeは、既存のLLMサービスシステムと比較して、P99テールのレイテンシを2.4～9.1倍削減できることを示す。 また、SpotServeはプリエンプティブインスタンスの価格優位性を利用して、オンデマンドインスタンスのみを使用する場合と比較して54%の金銭的コストを節約できることも示しています。
  論文  参考訳（メタデータ） (2023-11-27T06:31:17Z)
• Exploring the Impact of Serverless Computing on Peer To Peer Training Machine Learning [0.3441021278275805]
  分散トレーニングのためのサーバーレスコンピューティングとP2Pネットワークを組み合わせた新しいアーキテクチャを導入する。 その結果,従来のP2P分散学習法と比較して97.34%の改善がみられた。 コストタイムのトレードオフにもかかわらず、サーバーレスのアプローチは依然として有望である。
  論文  参考訳（メタデータ） (2023-09-25T13:51:07Z)
• Efficient RLHF: Reducing the Memory Usage of PPO [61.45357428856269]
  本稿では,PPOのためのメモリセーブ技術におけるメモリ使用量,性能,トレーニング時間を総合的に分析する。 まず、SFTモデルとRewardモデルを統合し、訓練中にLoRAを動的にオフにすることで、Hydra-RLHFを導入する。 以上の結果から,Hydra-PPOはRLHFをより広く活用するためのシンプルで有望なソリューションであることが示された。
  論文  参考訳（メタデータ） (2023-09-01T22:57:20Z)
• Efficient Real Time Recurrent Learning through combined activity and parameter sparsity [0.5076419064097732]
  時間によるバックプロパゲーション(BPTT)は、リカレントニューラルネットワーク(RNN)のトレーニングのための標準アルゴリズムである BPTTはオンライン学習には不適であり、低リソースのリアルタイムシステムの実装に挑戦している。 実時間再帰学習(RTRL)の計算コストを削減できることを示す。
  論文  参考訳（メタデータ） (2023-03-10T01:09:04Z)
• LST: Ladder Side-Tuning for Parameter and Memory Efficient Transfer Learning [82.93130407930762]
  大規模な事前訓練されたモデルのパラメータセット全体を更新するのはコストがかかる。 PETL技術は、トレーニング済みのバックボーンネットワーク内のパラメータの小さなサブセットを更新して、新しいタスクを実行できる。 本稿では,学習用メモリの必要量を大幅に削減するPETL技術であるLadder Side-Tuning (LST)を提案する。
  論文  参考訳（メタデータ） (2022-06-13T23:51:56Z)
• Parameter-Efficient Sparsity for Large Language Models Fine-Tuning [63.321205487234074]
  私たちはaを提案します。 Sparse- efficient Sparse Training (PST) は、スパース・アウェア・トレーニング中にトレーニング可能なパラメータの数を減少させる手法である。 多様なネットワーク(BERT、RoBERTa、GPT-2)を用いた実験では、PSTは従来のスパーシリティ法よりも同等以上の性能を示した。
  論文  参考訳（メタデータ） (2022-05-23T02:43:45Z)
• Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for Hyperparameter Recommendation [83.85021205445662]
  本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。 マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
  論文  参考訳（メタデータ） (2021-06-17T00:01:18Z)
• Frugal Optimization for Cost-related Hyperparameters [43.599155206275306]
  我々は機械学習アルゴリズムのための新しいコストフルーガーHPOソリューションを開発した。 我々は総コストに対して$O(fracsqrtdsqrtK)$と$O(depsilon-2)$-approximationの収束率を証明する。 我々は、大規模なAutoMLベンチマークにおける最先端HPO法と比較して、強力な実験結果を提供する。
  論文  参考訳（メタデータ） (2020-05-04T15:40:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。