論文の概要: Self-Correcting Bayesian Optimization through Bayesian Active Learning
- arxiv url: http://arxiv.org/abs/2304.11005v2
- Date: Tue, 10 Oct 2023 14:56:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 13:25:39.799910
- Title: Self-Correcting Bayesian Optimization through Bayesian Active Learning
- Title（参考訳）: ベイズアクティブラーニングによる自己補正ベイズ最適化
- Authors: Carl Hvarfner, Erik Hellsten, Frank Hutter, Luigi Nardi
- Abstract要約: ハイパーパラメータ学習を明示的に優先する2つの獲得関数を提案する。
次に、SALを拡張してベイズ最適化とアクティブラーニングを同時に行う自己補正ベイズ最適化(SCoreBO)を導入する。
- 参考スコア（独自算出の注目度）: 46.235017111395344
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Gaussian processes are the model of choice in Bayesian optimization and
active learning. Yet, they are highly dependent on cleverly chosen
hyperparameters to reach their full potential, and little effort is devoted to
finding good hyperparameters in the literature. We demonstrate the impact of
selecting good hyperparameters for GPs and present two acquisition functions
that explicitly prioritize hyperparameter learning. Statistical distance-based
Active Learning (SAL) considers the average disagreement between samples from
the posterior, as measured by a statistical distance. SAL outperforms the
state-of-the-art in Bayesian active learning on several test functions. We then
introduce Self-Correcting Bayesian Optimization (SCoreBO), which extends SAL to
perform Bayesian optimization and active learning simultaneously. SCoreBO
learns the model hyperparameters at improved rates compared to vanilla BO,
while outperforming the latest Bayesian optimization methods on traditional
benchmarks. Moreover, we demonstrate the importance of self-correction on
atypical Bayesian optimization tasks.
- Abstract（参考訳）: ガウス過程はベイズ最適化とアクティブ学習における選択モデルである。
しかし、彼らは十分に選択されたハイパーパラメーターに非常に依存しており、文献の中で優れたハイパーパラメーターを見つけることにはほとんど注力していない。
本稿では,GPに対する優れたハイパーパラメータ選択の影響を実証し,ハイパーパラメータ学習を優先する2つの獲得関数を提案する。
統計的距離に基づくアクティブラーニング(SAL)は、統計的距離によって測定された後部からのサンプル間の平均的な不一致を考察する。
salはいくつかのテスト関数でベイズアクティブラーニングの最先端を上回っている。
次に、SALを拡張してベイズ最適化とアクティブラーニングを同時に行う自己補正ベイズ最適化(SCoreBO)を導入する。
SCoreBOは、バニラBOと比べて改善された速度でモデルハイパーパラメータを学習し、従来のベンチマークで最新のベイズ最適化手法より優れている。
さらに,非定型ベイズ最適化タスクにおける自己補正の重要性を示す。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - High-dimensional Bayesian Optimization with Group Testing [7.12295305987761]
本研究では,高次元領域における効率的な最適化を容易にするために,能動変数を同定するグループテスト手法を提案する。
提案したアルゴリズムであるグループテストベイズ最適化(GTBO)は、まず変数のグループを体系的に選択し、テストするテストフェーズを実行する。
第2段階では、GTBOは活性次元をより重要視することで最適化を導く。
論文 参考訳（メタデータ） (2023-10-05T12:52:27Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Prediction-Oriented Bayesian Active Learning [51.426960808684655]
予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。
EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
論文 参考訳（メタデータ） (2023-04-17T10:59:57Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。
レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
論文 参考訳（メタデータ） (2020-08-02T02:56:30Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳（メタデータ） (2020-07-02T07:35:49Z) - Weighting Is Worth the Wait: Bayesian Optimization with Importance
Sampling [34.67740033646052]
ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。
評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
論文 参考訳（メタデータ） (2020-02-23T15:52:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。