論文の概要: HyperSched: Dynamic Resource Reallocation for Model Development on a
Deadline
- arxiv url: http://arxiv.org/abs/2001.02338v1
- Date: Wed, 8 Jan 2020 02:01:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-13 12:55:38.904592
- Title: HyperSched: Dynamic Resource Reallocation for Model Development on a
Deadline
- Title（参考訳）: hypersched: 期限付きモデル開発のための動的リソース再配置
- Authors: Richard Liaw, Romil Bhardwaj, Lisa Dunlap, Yitian Zou, Joseph
Gonzalez, Ion Stoica, Alexey Tumanov
- Abstract要約: HyperSchedは、機械学習トレーニングワークロードのための動的アプリケーションレベルのスケジューラである。
期限までに正確性を最大化するために、最高の試行にリソースを追跡し、識別し、優先的に割り当てる。
- 参考スコア（独自算出の注目度）: 21.93595021682493
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prior research in resource scheduling for machine learning training workloads
has largely focused on minimizing job completion times. Commonly, these model
training workloads collectively search over a large number of parameter values
that control the learning process in a hyperparameter search. It is preferable
to identify and maximally provision the best-performing hyperparameter
configuration (trial) to achieve the highest accuracy result as soon as
possible.
To optimally trade-off evaluating multiple configurations and training the
most promising ones by a fixed deadline, we design and build HyperSched -- a
dynamic application-level resource scheduler to track, identify, and
preferentially allocate resources to the best performing trials to maximize
accuracy by the deadline. HyperSched leverages three properties of a
hyperparameter search workload over-looked in prior work - trial disposability,
progressively identifiable rankings among different configurations, and
space-time constraints - to outperform standard hyperparameter search
algorithms across a variety of benchmarks.
- Abstract（参考訳）: 機械学習トレーニングワークロードのリソーススケジューリングに関する以前の研究は、仕事の完了時間の最小化に重点を置いていた。
一般的に、これらのモデルトレーニングワークロードは、ハイパーパラメータサーチにおける学習プロセスを制御する多数のパラメータ値をまとめて検索する。
最良性能のハイパーパラメータ構成(トライアル)を特定し、最大に設定し、可能な限り高い精度で達成することが好ましい。
複数の構成を評価し、最も有望なものを一定の期限までにトレーニングするために、動的アプリケーションレベルのリソーススケジューラであるHyperSchedを設計し、構築します。
HyperSchedは、以前の作業で見過ごされたハイパーパラメータ検索ワークロードの3つの特性 – 試行錯誤性、さまざまな構成の段階的に識別可能なランク付け、時空制約 – を活用して、さまざまなベンチマークで標準的なハイパーパラメータ検索アルゴリズムを上回ります。
関連論文リスト
- Optimization Hyper-parameter Laws for Large Language Models [56.322914260197734]
ハイパーパラメータとトレーニング結果の関係をキャプチャするフレームワークであるOps-Lawsを提案する。
さまざまなモデルサイズとデータスケールにわたる検証は、Opt-Lawsのトレーニング損失を正確に予測する能力を示しています。
このアプローチは、全体的なモデル性能を高めながら、計算コストを大幅に削減する。
論文 参考訳（メタデータ） (2024-09-07T09:37:19Z) - Adaptive Hyperparameter Optimization for Continual Learning Scenarios [19.151871846937738]
本稿では,連続学習におけるハイパーパラメータ選択の役割について検討する。
分散に基づく手法の機能解析を用いて、性能に影響を及ぼす最も重要なハイパーパラメータを同定する。
提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示すことを実証的に実証する。
論文 参考訳（メタデータ） (2024-03-09T16:47:42Z) - Scrap Your Schedules with PopDescent [0.0]
Population Descent (PopDescent) は、メメティックな集団検索技術である。
また,PopDescentは既存の検索手法よりも高速に収束し,テストロス値が最大18%低いモデルパラメータを求める。
標準的な機械学習ビジョンタスクの試行では、PopDescentは既存の検索手法よりも高速に収束し、テストロス値が最大18%低いモデルパラメータが見つかる。
論文 参考訳（メタデータ） (2023-10-23T08:11:17Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Consolidated learning -- a domain-specific model-free optimization
strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。
このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。
我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2022-01-27T21:38:53Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳（メタデータ） (2021-06-17T00:01:18Z) - Self-supervised learning for fast and scalable time series
hyper-parameter tuning [14.9124328578934]
時系列モデルのハイパーパラメータは時系列解析において重要な役割を果たす。
我々はHPT(SSL-HPT)のための自己教師型学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-10T21:16:13Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z) - Hippo: Taming Hyper-parameter Optimization of Deep Learning with Stage
Trees [2.294014185517203]
トレーニングプロセスの冗長性を除去し,計算量を大幅に削減するハイパーパラメータ最適化システムであるHippoを提案する。
ヒッポは単一の研究だけでなく、同じモデルと探索空間の複数の研究を段階木として定式化できるマルチスタディシナリオにも適用できる。
論文 参考訳（メタデータ） (2020-06-22T02:36:12Z) - HyperSTAR: Task-Aware Hyperparameters for Deep Networks [52.50861379908611]
HyperSTARは、ディープニューラルネットワークのためのHPOをウォームスタートするタスク認識方式である。
生の画像から直接、データセット(タスク)表現とパフォーマンス予測器を学習する。
既存のメソッドと比較して、最高のパフォーマンスを達成するために、構成を50%少なく評価する。
論文 参考訳（メタデータ） (2020-05-21T08:56:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。