論文の概要: Self-Correcting Bayesian Optimization through Bayesian Active Learning

• arxiv url: http://arxiv.org/abs/2304.11005v1
• Date: Fri, 21 Apr 2023 14:50:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-24 14:24:04.942225
• Title: Self-Correcting Bayesian Optimization through Bayesian Active Learning
• Title（参考訳）: ベイズアクティブラーニングによる自己補正ベイズ最適化
• Authors: Carl Hvarfner, Erik Hellsten, Frank Hutter, Luigi Nardi
• Abstract要約: GPに対する優れたハイパーパラメータの選択を明示的に優先する2つの取得関数を提案する。 統計的距離に基づくアクティブラーニング(SAL)は、統計的距離によって測定された後部からのサンプル間の平均的な不一致を考察する。 次に、SALを拡張した自己補正ベイズ最適化(SCoreBO)を導入し、ベイズ最適化とアクティブハイパーパラメータ学習を同時に行う。
• 参考スコア（独自算出の注目度）: 33.90771443735905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian processes are cemented as the model of choice in Bayesian optimization and active learning. Yet, they are severely dependent on cleverly chosen hyperparameters to reach their full potential, and little effort is devoted to finding the right hyperparameters in the literature. We demonstrate the impact of selecting good hyperparameters for GPs and present two acquisition functions that explicitly prioritize this goal. Statistical distance-based Active Learning (SAL) considers the average disagreement among samples from the posterior, as measured by a statistical distance. It is shown to outperform the state-of-the-art in Bayesian active learning on a number of test functions. We then introduce Self-Correcting Bayesian Optimization (SCoreBO), which extends SAL to perform Bayesian optimization and active hyperparameter learning simultaneously. SCoreBO learns the model hyperparameters at improved rates compared to vanilla BO, while outperforming the latest Bayesian optimization methods on traditional benchmarks. Moreover, the importance of self-correction is demonstrated on an array of exotic Bayesian optimization tasks
• Abstract（参考訳）: ガウス過程はベイズ最適化とアクティブラーニングにおいて選択モデルとして固められている。 しかし、彼らは十分に選択されたハイパーパラメーターに強く依存しており、文献の中で適切なハイパーパラメーターを見つけることにはほとんど注力していない。 本稿では,GPに対する優れたハイパーパラメータの選択の影響を実証し,この目標を明示的に優先する2つの獲得関数を提案する。 統計的距離に基づくアクティブラーニング(SAL)は、統計的距離によって測定された後部からのサンプル間の平均的な不一致を考察する。 多くのテスト関数でベイズアクティブラーニングの最先端を上回っていることが示されている。 次に、SALを拡張してベイズ最適化とアクティブハイパーパラメータ学習を同時に行う自己補正ベイズ最適化(SCoreBO)を導入する。 SCoreBOは、バニラBOと比べて改善された速度でモデルハイパーパラメータを学習し、従来のベンチマークで最新のベイズ最適化手法より優れている。 さらに、エキゾチックなベイズ最適化タスクの配列に自己補正の重要性が示される。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• High-dimensional Bayesian Optimization with Group Testing [7.12295305987761]
  本研究では,高次元領域における効率的な最適化を容易にするために,能動変数を同定するグループテスト手法を提案する。 提案したアルゴリズムであるグループテストベイズ最適化(GTBO)は、まず変数のグループを体系的に選択し、テストするテストフェーズを実行する。 第2段階では、GTBOは活性次元をより重要視することで最適化を導く。
  論文  参考訳（メタデータ） (2023-10-05T12:52:27Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Prediction-Oriented Bayesian Active Learning [51.426960808684655]
  予測情報ゲイン(EPIG)は、パラメータではなく予測空間における情報ゲインを測定する。 EPIGは、さまざまなデータセットやモデルにわたるBALDと比較して、予測パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2023-04-17T10:59:57Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Bayesian Optimization for Selecting Efficient Machine Learning Models [53.202224677485525]
  本稿では,予測効率とトレーニング効率の両面において,モデルを協調最適化するための統一ベイズ最適化フレームワークを提案する。 レコメンデーションタスクのためのモデル選択の実験は、この方法で選択されたモデルがモデルのトレーニング効率を大幅に改善することを示している。
  論文  参考訳（メタデータ） (2020-08-02T02:56:30Z)
• BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
  本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。 BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
  論文  参考訳（メタデータ） (2020-07-02T07:35:49Z)
• Weighting Is Worth the Wait: Bayesian Optimization with Importance Sampling [34.67740033646052]
  ベイジアン最適化のステート・オブ・ザ・アートランタイムと,さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善した。 評価の複雑さと品質をトレードオフするISのパラメータ化を学習することで、ベイジアン最適化のステート・オブ・ザ・アートランタイムと、さまざまなデータセットと複雑なニューラルネットワークアーキテクチャの最終的な検証エラーを改善します。
  論文  参考訳（メタデータ） (2020-02-23T15:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。