論文の概要: Overfitting in Bayesian Optimization: an empirical study and early-stopping solution

• arxiv url: http://arxiv.org/abs/2104.08166v1
• Date: Fri, 16 Apr 2021 15:26:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-19 18:26:12.675275
• Title: Overfitting in Bayesian Optimization: an empirical study and early-stopping solution
• Title（参考訳）: ベイズ最適化におけるオーバーフィッティング--実証的研究と早期解法
• Authors: Anastasia Makarova, Huibin Shen, Valerio Perrone, Aaron Klein, Jean Baptiste Faddoul, Andreas Krause, Matthias Seeger, Cedric Archambeau
• Abstract要約: 早期停止BOへの最初の問題適応性と解釈可能な基準を提案する。 提案手法は, テスト精度をほとんど損なうことなく, 計算時間を実質的に削減できることを示す。
• 参考スコア（独自算出の注目度）: 41.782410830989136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian Optimization (BO) is a successful methodology to tune the hyperparameters of machine learning algorithms. The user defines a metric of interest, such as the validation error, and BO finds the optimal hyperparameters that minimize it. However, the metric improvements on the validation set may not translate to the test set, especially on small datasets. In other words, BO can overfit. While cross-validation mitigates this, it comes with high computational cost. In this paper, we carry out the first systematic investigation of overfitting in BO and demonstrate that this is a serious yet often overlooked concern in practice. We propose the first problem-adaptive and interpretable criterion to early stop BO, reducing overfitting while mitigating the cost of cross-validation. Experimental results on real-world hyperparameter optimization tasks show that our approach can substantially reduce compute time with little to no loss of test accuracy,demonstrating a clear practical advantage over existing techniques.
• Abstract（参考訳）: ベイズ最適化(bayesian optimization, bo)は、機械学習アルゴリズムのハイパーパラメータをチューニングする手法である。 ユーザは検証エラーのような関心のメトリックを定義し、boはそれを最小化する最適なハイパーパラメータを見つける。 しかしながら、検証セットのメトリック改善は、特に小さなデータセットでは、テストセットに変換されない可能性がある。 言い換えれば、BOは過度に適合する。 クロスバリデーションはこれを緩和するが、計算コストが高い。 本稿では,boにおける過剰適合に関する最初の体系的調査を行い,本件が本格的かつしばしば見過ごされる懸念であることを示す。 我々は, 早期停止boに対する最初の問題適応的かつ解釈可能な基準を提案し, クロスバリデーションのコストを軽減しつつ, 過剰フィッティングを低減した。 実世界のハイパーパラメータ最適化タスクにおける実験結果から,本手法はテスト精度をほとんど損なわずに計算時間を実質的に削減できることが分かった。

関連論文リスト

• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
  本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。 本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。 実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
  論文  参考訳（メタデータ） (2022-02-22T18:37:23Z)
• Two-step Lookahead Bayesian Optimization with Inequality Constraints [21.703234193908038]
  本稿では,2段階の制約付きベイズ最適化獲得関数 (2-OPT-C) を提案する。 数値実験では、2-OPT-Cは従来の手法よりも2倍以上のクエリ効率が向上し、場合によっては10倍以上のクエリ効率が向上する。
  論文  参考訳（メタデータ） (2021-12-06T07:40:54Z)
• Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
  本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。 インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
  論文  参考訳（メタデータ） (2021-07-30T07:25:07Z)
• Cost-Efficient Online Hyperparameter Optimization [94.60924644778558]
  実験の単一実行でヒトのエキスパートレベルのパフォーマンスに達するオンラインHPOアルゴリズムを提案します。 提案するオンラインhpoアルゴリズムは,実験の1回で人間のエキスパートレベルのパフォーマンスに到達できるが,通常のトレーニングに比べて計算オーバーヘッドは少ない。
  論文  参考訳（メタデータ） (2021-01-17T04:55:30Z)
• Efficient hyperparameter optimization by way of PAC-Bayes bound minimization [4.191847852775072]
  本稿では,期待外誤差に縛られた確率的近似ベイズ(PAC-Bayes)と等価な別の目的について述べる。 そして、この目的を最小化するために、効率的な勾配に基づくアルゴリズムを考案する。
  論文  参考訳（メタデータ） (2020-08-14T15:54:51Z)
• A Gradient-based Bilevel Optimization Approach for Tuning Hyperparameters in Machine Learning [0.0]
  本稿では,ハイパーパラメータ最適化問題の解法として,二段階解法を提案する。 提案手法は汎用的で,任意の種類の機械学習アルゴリズムに容易に適用可能である。 提案アルゴリズムの背景にある理論を議論し、2つのデータセットについて広範な計算研究を行う。
  論文  参考訳（メタデータ） (2020-07-21T18:15:08Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。