論文の概要: Scrap Your Schedules with PopDescent
- arxiv url: http://arxiv.org/abs/2310.14671v2
- Date: Wed, 24 Apr 2024 18:18:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-26 23:47:37.500385
- Title: Scrap Your Schedules with PopDescent
- Title（参考訳）: PopDescentでスケジュールをストラップする
- Authors: Abhinav Pomalapally, Bassel El Mabsout, Renato Mansuco,
- Abstract要約: Population Descent (PopDescent) は、メメティックな集団検索技術である。
また,PopDescentは既存の検索手法よりも高速に収束し,テストロス値が最大18%低いモデルパラメータを求める。
標準的な機械学習ビジョンタスクの試行では、PopDescentは既存の検索手法よりも高速に収束し、テストロス値が最大18%低いモデルパラメータが見つかる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: In contemporary machine learning workloads, numerous hyper-parameter search algorithms are frequently utilized to efficiently discover high-performing hyper-parameter values, such as learning and regularization rates. As a result, a range of parameter schedules have been designed to leverage the capability of adjusting hyper-parameters during training to enhance loss performance. These schedules, however, introduce new hyper-parameters to be searched and do not account for the current loss values of the models being trained. To address these issues, we propose Population Descent (PopDescent), a progress-aware hyper-parameter tuning technique that employs a memetic, population-based search. By merging evolutionary and local search processes, PopDescent proactively explores hyper-parameter options during training based on their performance. Our trials on standard machine learning vision tasks show that PopDescent converges faster than existing search methods, finding model parameters with test-loss values up to 18% lower, even when considering the use of schedules. Moreover, we highlight the robustness of PopDescent to its initial training parameters, a crucial characteristic for hyper-parameter search techniques.
- Abstract（参考訳）: 現代の機械学習のワークロードでは、多くのハイパーパラメータ探索アルゴリズムが頻繁に使われ、学習や正規化率などのハイパフォーマンスなハイパーパラメータ値を効率的に発見する。
その結果、トレーニング中にハイパーパラメータを調整する能力を活用し、損失性能を向上させるために、パラメータスケジュールの幅が設計された。
しかし、これらのスケジュールは、探索すべき新しいハイパーパラメータを導入し、トレーニング中のモデルの現在の損失値を考慮しない。
これらの課題に対処するため,我々は,人口探索を用いた進捗対応ハイパーパラメータチューニング技術であるPopDescent(PopDescent)を提案する。
PopDescentは進化的および局所的な探索プロセスを統合することで、そのパフォーマンスに基づいてトレーニング中のハイパーパラメータオプションを積極的に探索する。
標準的な機械学習ビジョンタスクの試行では、PopDescentは既存の検索手法よりも高速に収束し、テストロス値が最大18%低いモデルパラメータがスケジュールの利用を考慮しても見つかる。
さらに,PopDescentの強靭さを,その初期訓練パラメータに強調する。
関連論文リスト
- Adaptive Hyperparameter Optimization for Continual Learning Scenarios [19.151871846937738]
本稿では,連続学習におけるハイパーパラメータ選択の役割について検討する。
分散に基づく手法の機能解析を用いて、性能に影響を及ぼす最も重要なハイパーパラメータを同定する。
提案手法は,連続的なシナリオや戦略に依存しない手法で,タスク間のハイパーパラメータ最適化を継続的に高速化し,逐次的なタスク順序に直面する場合においても堅牢性を示すことを実証的に実証する。
論文 参考訳（メタデータ） (2024-03-09T16:47:42Z) - AutoRL Hyperparameter Landscapes [69.15927869840918]
強化学習(Reinforcement Learning, RL)は印象的な結果を生み出すことができるが、その使用はハイパーパラメータがパフォーマンスに与える影響によって制限されている。
我々は,これらのハイパーパラメータの景観を1つの時間だけではなく,複数の時間内に構築し,解析する手法を提案する。
これは、ハイパーパラメータがトレーニング中に動的に調整されるべきであるという理論を支持し、ランドスケープ解析によって得られるAutoRL問題に関するさらなる洞察の可能性を示している。
論文 参考訳（メタデータ） (2023-04-05T12:14:41Z) - Deep Ranking Ensembles for Hyperparameter Optimization [9.453554184019108]
本稿では,メタ学習型ニューラルネットワークが構成性能のランク付けに最適化され,アンサンブルによる不確実性をモデル化する手法を提案する。
12のベースライン、16のHPO検索スペース、86のデータセット/タスクからなる大規模実験プロトコルにおいて、本手法がHPOの新たな最先端結果を実現することを示す。
論文 参考訳（メタデータ） (2023-03-27T13:52:40Z) - A Framework for History-Aware Hyperparameter Optimisation in
Reinforcement Learning [8.659973888018781]
強化学習(RL)システムは、システムの性能に影響を与える一連の初期条件に依存する。
これらのトレードオフを軽減するため,複雑なイベント処理と時間モデルの統合に基づくフレームワークを提案する。
提案手法を,RLの変種であるDQNを用いた5Gモバイル通信ケーススタディで検証した。
論文 参考訳（メタデータ） (2023-03-09T11:30:40Z) - Online Continuous Hyperparameter Optimization for Generalized Linear Contextual Bandits [55.03293214439741]
文脈的包帯では、エージェントは過去の経験に基づいた時間依存アクションセットから順次アクションを行う。
そこで本稿では,文脈的包帯のためのオンライン連続型ハイパーパラメータチューニングフレームワークを提案する。
理論上はサブ線形の後悔を達成でき、合成データと実データの両方において既存のすべての手法よりも一貫して優れた性能を発揮することを示す。
論文 参考訳（メタデータ） (2023-02-18T23:31:20Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳（メタデータ） (2022-03-15T19:25:01Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳（メタデータ） (2021-06-17T00:01:18Z) - Search Algorithms for Automated Hyper-Parameter Tuning [1.2233362977312945]
グリッド検索とランダム検索という2つの自動ハイパーオプティマイズ手法を開発し、過去の研究のパフォーマンスを評価し改善します。
実験の結果,機械学習アルゴリズムにランダム探索とグリッド探索を適用すると精度が向上することがわかった。
論文 参考訳（メタデータ） (2021-04-29T22:11:52Z) - Self-supervised learning for fast and scalable time series
hyper-parameter tuning [14.9124328578934]
時系列モデルのハイパーパラメータは時系列解析において重要な役割を果たす。
我々はHPT(SSL-HPT)のための自己教師型学習フレームワークを提案する。
論文 参考訳（メタデータ） (2021-02-10T21:16:13Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z) - How much progress have we made in neural network training? A New
Evaluation Protocol for Benchmarking Optimizers [86.36020260204302]
本稿では、エンドツーエンドの効率とデータ付加訓練の効率を評価するための新しいベンチマークプロトコルを提案する。
評価プロトコルは, ランダム探索よりも, 人間のチューニング行動とよく一致していることを示すために, 人間の実験を行った。
次に,提案したベンチマークフレームワークをコンピュータビジョン,自然言語処理,強化学習,グラフマイニングなどのタスクに適用する。
論文 参考訳（メタデータ） (2020-10-19T21:46:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。