論文の概要: Provably Efficient Bayesian Optimization with Unbiased Gaussian Process Hyperparameter Estimation

• arxiv url: http://arxiv.org/abs/2306.06844v2
• Date: Thu, 23 May 2024 04:50:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-26 21:22:37.371835
• Title: Provably Efficient Bayesian Optimization with Unbiased Gaussian Process Hyperparameter Estimation
• Title（参考訳）: 無バイアスガウスプロセスハイパーパラメータ推定によるベイズ最適化の可能性
• Authors: Huong Ha, Vu Nguyen, Hung Tran-The, Hongyu Zhang, Xiuzhen Zhang, Anton van den Hengel,
• Abstract要約: 目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 44.53678257757108
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gaussian process (GP) based Bayesian optimization (BO) is a powerful method for optimizing black-box functions efficiently. The practical performance and theoretical guarantees of this approach depend on having the correct GP hyperparameter values, which are usually unknown in advance and need to be estimated from the observed data. However, in practice, these estimations could be incorrect due to biased data sampling strategies used in BO. This can lead to degraded performance and break the sub-linear global convergence guarantee of BO. To address this issue, we propose a new BO method that can sub-linearly converge to the objective function's global optimum even when the true GP hyperparameters are unknown in advance and need to be estimated from the observed data. Our method uses a multi-armed bandit technique (EXP3) to add random data points to the BO process, and employs a novel training loss function for the GP hyperparameter estimation process that ensures consistent estimation. We further provide theoretical analysis of our proposed method. Finally, we demonstrate empirically that our method outperforms existing approaches on various synthetic and real-world problems.
• Abstract（参考訳）: ガウス過程(GP)に基づくベイズ最適化(BO)はブラックボックス関数を効率的に最適化する強力な手法である。 このアプローチの実践的性能と理論的保証は、事前に未知であり、観測データから推定する必要がある正しいGPハイパーパラメータ値を持つことに依存している。 しかし、実際には、BOで使用される偏りのあるデータサンプリング戦略のために、これらの推定は誤りである可能性がある。 これにより性能が低下し、BOのサブ線形大域収束保証を破る可能性がある。 この問題に対処するために,実GPハイパーパラメータが予め不明であり,観測データから推定する必要がある場合でも,目的関数の大域的最適値に線形に収束できるBO法を提案する。 提案手法は,マルチアームバンディット法(EXP3)を用いてBOプロセスにランダムなデータポイントを付加し,一貫した推定を保証するGPハイパーパラメータ推定プロセスに新たなトレーニング損失関数を用いる。 さらに,提案手法の理論的解析を行う。 最後に,本手法が様々な合成および実世界の問題に対する既存手法よりも優れていることを実証的に示す。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Neural Operator Variational Inference based on Regularized Stein Discrepancy for Deep Gaussian Processes [23.87733307119697]
  本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。 NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。 提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
  論文  参考訳（メタデータ） (2023-09-22T06:56:35Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• A Stochastic Bundle Method for Interpolating Networks [18.313879914379008]
  本稿では,実験的な損失をゼロにすることができるディープニューラルネットワークのトレーニング手法を提案する。 各イテレーションにおいて,本手法は目的学習近似のバンドルとして知られる最大線形近似を構成する。
  論文  参考訳（メタデータ） (2022-01-29T23:02:30Z)
• Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
  ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。 本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。 物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
  論文  参考訳（メタデータ） (2021-11-16T08:45:39Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。