論文の概要: Few-Shot Bayesian Optimization with Deep Kernel Surrogates
- arxiv url: http://arxiv.org/abs/2101.07667v1
- Date: Tue, 19 Jan 2021 15:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-22 11:16:15.715204
- Title: Few-Shot Bayesian Optimization with Deep Kernel Surrogates
- Title（参考訳）: ディープカーネルサロゲートを用いたFew-Shot Bayesian Optimization
- Authors: Martin Wistuba and Josif Grabocka
- Abstract要約: 本研究では,新しいタスクの応答関数に適応するために,共有型深層サロゲートモデルを学習する数ショット学習問題を提案する。
本稿では,エンドツーエンドにメタ学習されたガウス的プロセスサロゲートにディープカーネルネットワークを適用することを提案する。
その結果、深部カーネルサーロゲートの斬新な数ショット最適化は、HPOでの新しい最先端の結果につながります。
- 参考スコア（独自算出の注目度）: 7.208515071018781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Hyperparameter optimization (HPO) is a central pillar in the automation of
machine learning solutions and is mainly performed via Bayesian optimization,
where a parametric surrogate is learned to approximate the black box response
function (e.g. validation error). Unfortunately, evaluating the response
function is computationally intensive. As a remedy, earlier work emphasizes the
need for transfer learning surrogates which learn to optimize hyperparameters
for an algorithm from other tasks. In contrast to previous work, we propose to
rethink HPO as a few-shot learning problem in which we train a shared deep
surrogate model to quickly adapt (with few response evaluations) to the
response function of a new task. We propose the use of a deep kernel network
for a Gaussian process surrogate that is meta-learned in an end-to-end fashion
in order to jointly approximate the response functions of a collection of
training data sets. As a result, the novel few-shot optimization of our deep
kernel surrogate leads to new state-of-the-art results at HPO compared to
several recent methods on diverse metadata sets.
- Abstract（参考訳）: ハイパーパラメータ最適化(HPO)は、機械学習ソリューションの自動化における中心的な柱であり、主にベイズ最適化によって行われる。
検証エラー)。
残念ながら、応答関数の評価は計算量が多い。
以前の研究では、他のタスクからアルゴリズムのハイパーパラメータを最適化することを学ぶトランスファーラーニングサロゲートの必要性を強調していた。
従来の研究とは対照的に,我々はHPOを,新しいタスクの応答関数に迅速に適応する(応答評価がほとんどない)共有深層代理モデルを訓練する,数発の学習問題として再考することを提案する。
本稿では,トレーニングデータセットの集合の応答関数を協調的に近似するために,エンドツーエンドでメタ学習されるガウスプロセスサロゲートに対するディープカーネルネットワークの利用を提案する。
その結果, 深層カーネルサロゲートの新規な数ショット最適化は, 多様なメタデータセットに関する最近の手法と比較して, HPOにおける新しい最先端結果をもたらすことがわかった。
関連論文リスト
- Few-Shot Parameter-Efficient Fine-Tuning is Better and Cheaper than
In-Context Learning [81.3514358542452]
ICL (Few-shot in-context Learning) は、予測を行うたびにトレーニング例を全て処理するので、かなりの計算、メモリ、ストレージコストを発生させる。
パラメータ効率の良い微調整は、モデルの新たなタスクの実行を可能にするために、小さなパラメータセットをトレーニングする、代替パラダイムを提供する。
本稿では,少数ショットICLとパラメータ効率の微調整を厳密に比較し,後者が計算コストを劇的に削減できることを示す。
論文 参考訳（メタデータ） (2022-05-11T17:10:41Z) - Efficient Neural Network Analysis with Sum-of-Infeasibilities [64.31536828511021]
凸最適化における総和係数法に着想を得て,広範な分岐関数を持つネットワーク上での検証クエリを解析するための新しい手法を提案する。
標準ケース分析に基づく完全探索手順の拡張は、各検索状態で実行される凸手順をDeepSoIに置き換えることによって達成できる。
論文 参考訳（メタデータ） (2022-03-19T15:05:09Z) - Automatic tuning of hyper-parameters of reinforcement learning
algorithms using Bayesian optimization with behavioral cloning [0.0]
強化学習(RL)では、学習エージェントが収集したデータの情報内容は多くのハイパーパラメータの設定に依存する。
本研究では,ベイズ最適化を用いた自律的ハイパーパラメータ設定手法を提案する。
実験は、他の手作業による調整や最適化ベースのアプローチと比較して、有望な結果を示している。
論文 参考訳（メタデータ） (2021-12-15T13:10:44Z) - Improving Hyperparameter Optimization by Planning Ahead [3.8673630752805432]
本稿では,モデルに基づく強化学習の文脈内で定義された新しい伝達学習手法を提案する。
本稿では,シンプルなルックアヘッド戦略をポリシーとして用いたモデル予測制御法を提案する。
最新のHPOアルゴリズムと比較した3つのメタデータセット実験により,提案手法が全ベースラインを上回り得ることを示す。
論文 参考訳（メタデータ） (2021-10-15T11:46:14Z) - Automatic prior selection for meta Bayesian optimization with a case
study on tuning deep neural network optimizers [47.013395100497775]
このような高価なハイパーパラメータチューニング問題を効率的に解くための原理的アプローチを提案する。
BOの性能の鍵となるのは関数上の分布を指定および精製することであり、これは基礎となる関数の最適化を推論するために使われる。
我々は、一般的な画像やテキストデータセット上で、最先端に近いモデルの何万もの設定をトレーニングすることで、現実的なモデルトレーニング設定におけるアプローチを検証する。
論文 参考訳（メタデータ） (2021-09-16T20:46:26Z) - Hyperparameter Optimization: Foundations, Algorithms, Best Practices and
Open Challenges [5.139260825952818]
本稿では,グリッドやランダム検索,進化アルゴリズム,ベイズ最適化,ハイパーバンド,レースなどの重要なHPO手法について述べる。
HPOアルゴリズム自体、パフォーマンス評価、HPOとMLパイプラインの結合方法、ランタイムの改善、並列化など、HPOの実行時に行うべき重要な選択について、実用的なレコメンデーションを提供する。
論文 参考訳（メタデータ） (2021-07-13T04:55:47Z) - Amortized Auto-Tuning: Cost-Efficient Transfer Optimization for
Hyperparameter Recommendation [83.85021205445662]
本稿では,機械学習モデルのチューニングを高速化する自動チューニング(AT2)を提案する。
マルチタスクマルチ忠実ベイズ最適化フレームワークの徹底的な解析を行い、最適なインスタンス化-アモータイズ自動チューニング(AT2)を実現する。
論文 参考訳（メタデータ） (2021-06-17T00:01:18Z) - JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。
GP-UCBに類似した条件下では, 応答が得られないことを示す。
実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
論文 参考訳（メタデータ） (2021-06-02T05:03:38Z) - Hyperparameter Transfer Learning with Adaptive Complexity [5.695163312473305]
ネストされたドロップアウトと自動関連性判定によって複雑性を高める順序付き非線形基底関数の集合を学習する新しいマルチタスクBO法を提案する。
論文 参考訳（メタデータ） (2021-02-25T12:26:52Z) - Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。
提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
論文 参考訳（メタデータ） (2021-01-17T04:55:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。