論文の概要: Automatic prior selection for meta Bayesian optimization with a case
study on tuning deep neural network optimizers
- arxiv url: http://arxiv.org/abs/2109.08215v1
- Date: Thu, 16 Sep 2021 20:46:26 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-20 14:49:11.946187
- Title: Automatic prior selection for meta Bayesian optimization with a case
study on tuning deep neural network optimizers
- Title(参考訳): メタベイズ最適化のための自動事前選択 : ディープニューラルネットワークオプティマイザのチューニングを事例として
- Authors: Zi Wang and George E. Dahl and Kevin Swersky and Chansoo Lee and Zelda
Mariet and Zack Nado and Justin Gilmer and Jasper Snoek and Zoubin Ghahramani
- Abstract要約: このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。
BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。
我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
- 参考スコア(独自算出の注目度): 47.013395100497775
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: The performance of deep neural networks can be highly sensitive to the choice
of a variety of meta-parameters, such as optimizer parameters and model
hyperparameters. Tuning these well, however, often requires extensive and
costly experimentation. Bayesian optimization (BO) is a principled approach to
solve such expensive hyperparameter tuning problems efficiently. Key to the
performance of BO is specifying and refining a distribution over functions,
which is used to reason about the optima of the underlying function being
optimized. In this work, we consider the scenario where we have data from
similar functions that allows us to specify a tighter distribution a priori.
Specifically, we focus on the common but potentially costly task of tuning
optimizer parameters for training neural networks. Building on the meta BO
method from Wang et al. (2018), we develop practical improvements that (a)
boost its performance by leveraging tuning results on multiple tasks without
requiring observations for the same meta-parameter points across all tasks, and
(b) retain its regret bound for a special case of our method. As a result, we
provide a coherent BO solution for iterative optimization of continuous
optimizer parameters. To verify our approach in realistic model training
setups, we collected a large multi-task hyperparameter tuning dataset by
training tens of thousands of configurations of near-state-of-the-art models on
popular image and text datasets, as well as a protein sequence dataset. Our
results show that on average, our method is able to locate good hyperparameters
at least 3 times more efficiently than the best competing methods.
- Abstract(参考訳): ディープニューラルネットワークの性能は、オプティマイザパラメータやモデルハイパーパラメータなど、さまざまなメタパラメータの選択に非常に敏感である。
しかし、これらをうまくチューニングするには、しばしば広範囲で費用のかかる実験が必要となる。
ベイズ最適化(BO)はそのような高価なハイパーパラメータチューニング問題を効率的に解くための原理的手法である。
BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。
本研究では,より厳密な分布を優先的に指定できる類似関数のデータを持つシナリオについて考察する。
具体的には、ニューラルネットワークのトレーニングのための最適化パラメータを最適化する一般的な作業に焦点を当てる。
Wang et al. (2018) のメタBO法に基づいて構築し, 実用的改善を図った。
(a)全てのタスクで同じメタパラメータポイントの観察を必要とせず、複数のタスクのチューニング結果を活用することでパフォーマンスを向上させる。
b) 当社の方法の特別の場合について,その後悔は保たれる。
その結果、連続オプティマイザパラメータの反復最適化のためのコヒーレントBOソリューションが提供される。
現実的なモデルトレーニング設定における我々のアプローチを検証するために、人気画像やテキストデータセット、およびタンパク質配列データセットに基づいて、数万の最先端モデルの構成をトレーニングすることで、大規模なマルチタスクハイパーパラメータチューニングデータセットを収集しました。
以上の結果から,提案手法は競合する手法の少なくとも3倍の効率で優れたハイパーパラメータを見つけることができることがわかった。
関連論文リスト
- A Unified Gaussian Process for Branching and Nested Hyperparameter
Optimization [19.351804144005744]
ディープラーニングでは、条件に依存したパラメータのチューニングが一般的に行われている。
新しいGPモデルでは、新しいカーネル関数を通じて入力変数間の依存構造が説明される。
ニューラルネットワークの一連の合成シミュレーションおよび実データ応用において、高い予測精度とより良い最適化効率が観察される。
論文 参考訳(メタデータ) (2024-01-19T21:11:32Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - VeLO: Training Versatile Learned Optimizers by Scaling Up [67.90237498659397]
私たちは、ディープラーニングの成功の背後にある同じスケーリングアプローチを活用して、汎用性を学びます。
私たちは、パラメータの更新を取り込み出力する小さなニューラルネットワークであるディープラーニングのためのインジェクションをトレーニングします。
学習したメタトレーニングコード、関連するトレインテストデータ、およびvelo-code.ioのベースラインを備えた広範なベンチマークスイートをオープンソースとして公開しています。
論文 参考訳(メタデータ) (2022-11-17T18:39:07Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳(メタデータ) (2022-07-07T04:42:54Z) - Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。
実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
論文 参考訳(メタデータ) (2022-05-26T12:51:32Z) - AUTOMATA: Gradient Based Data Subset Selection for Compute-Efficient
Hyper-parameter Tuning [72.54359545547904]
ハイパーパラメータチューニングのための勾配に基づくサブセット選択フレームワークを提案する。
ハイパーパラメータチューニングに勾配ベースのデータサブセットを用いることで、3$times$-30$times$のターンアラウンド時間とスピードアップが大幅に向上することを示す。
論文 参考訳(メタデータ) (2022-03-15T19:25:01Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳(メタデータ) (2020-07-02T07:35:49Z) - Automatic Setting of DNN Hyper-Parameters by Mixing Bayesian
Optimization and Tuning Rules [0.6875312133832078]
トレーニングおよび検証セット上で,ネットワークの結果を評価し解析するための新しいアルゴリズムを構築した。
我々は、一連のチューニングルールを使用して、新しいハイパーパラメータと/またはハイパーパラメータ検索スペースを減らし、より良い組み合わせを選択する。
論文 参考訳(メタデータ) (2020-06-03T08:53:48Z) - Weighting Is Worth the Wait: Bayesian Optimization with Importance
Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。
評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文 参考訳(メタデータ) (2020-02-23T15:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。