論文の概要: How Bayesian Should Bayesian Optimisation Be?

• arxiv url: http://arxiv.org/abs/2105.00894v1
• Date: Mon, 3 May 2021 14:28:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-04 14:19:26.368162
• Title: How Bayesian Should Bayesian Optimisation Be?
• Title（参考訳）: ベイズ最適化はどのようにあるべきか?
• Authors: George De Ath, Richard Everson and Jonathan Fieldsend
• Abstract要約: BO(FBBO)におけるガウス過程ハイパーパラメータの完全ベイズ処理が最適化性能の向上に繋がるかどうかを検討する。 予測改善(EI)とアッパー信頼境界(UCB)の取得関数を用いて、3つの近似推論スキームと最大可能性アプローチでFBBOを比較します。 ARDカーネルでEIを使用するFBBOは、ノイズフリー設定で最高のパフォーマンスをもたらし、ノイズが増加するとBOコンポーネントの組み合わせの違いがはるかに少なくなります。
• 参考スコア（独自算出の注目度）: 0.024790788944106048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimisation (BO) uses probabilistic surrogate models - usually Gaussian processes (GPs) - for the optimisation of expensive black-box functions. At each BO iteration, the GP hyperparameters are fit to previously-evaluated data by maximising the marginal likelihood. However, this fails to account for uncertainty in the hyperparameters themselves, leading to overconfident model predictions. This uncertainty can be accounted for by taking the Bayesian approach of marginalising out the model hyperparameters. We investigate whether a fully-Bayesian treatment of the Gaussian process hyperparameters in BO (FBBO) leads to improved optimisation performance. Since an analytic approach is intractable, we compare FBBO using three approximate inference schemes to the maximum likelihood approach, using the Expected Improvement (EI) and Upper Confidence Bound (UCB) acquisition functions paired with ARD and isotropic Matern kernels, across 15 well-known benchmark problems for 4 observational noise settings. FBBO using EI with an ARD kernel leads to the best performance in the noise-free setting, with much less difference between combinations of BO components when the noise is increased. FBBO leads to over-exploration with UCB, but is not detrimental with EI. Therefore, we recommend that FBBO using EI with an ARD kernel as the default choice for BO.
• Abstract（参考訳）: ベイズ最適化(BO)は高価なブラックボックス関数の最適化に確率的代理モデル(通常ガウス過程(GP))を用いる。 それぞれのboイテレーションでは、gpハイパーパラメータは限界確率を最大化することにより、事前評価されたデータに適合する。 しかし、これはハイパーパラメータ自体の不確かさを考慮せず、自信過剰なモデル予測に繋がる。 この不確実性は、ベイズ的アプローチでモデルハイパーパラメーターを区切ることによって説明できる。 BO(FBBO)におけるガウス過程ハイパーパラメータの完全ベイズ処理が最適化性能の向上につながるかどうかを考察する。 解析的アプローチは難解であるので、fbbo を3つの近似推論スキームを用いて、予測改善(ei)と最大信頼境界(ucb)獲得関数を ard および等方性母子カーネルとペアリングし、4つの観測ノイズ設定のための15の既知のベンチマーク問題と比較する。 ARDカーネルでEIを使用するFBBOは、ノイズの増加時にBO成分の組み合わせの差をはるかに少なくして、ノイズフリー環境で最高の性能を実現する。 FBBO は UCB で過剰探索するが、EI では有害ではない。 したがって、BOのデフォルト選択として、ARDカーネルでEIを使用するFBBOを推奨する。

関連論文リスト

• Robust Bayesian Optimization via Localized Online Conformal Prediction [37.549297668783254]
  局所化オンライン共形予測に基づくベイズ最適化(LOCBO)を導入する。 LOCBOは局所オンライン共形予測(CP)によりGPモデルを校正する 観測対象関数を保留するLOCBOのイテレートについて理論的性能保証を行う。
  論文  参考訳（メタデータ） (2024-11-26T12:45:54Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Bayesian Optimization for Macro Placement [48.55456716632735]
  本研究では,系列対上のベイズ最適化(BO)を用いた新しいマクロ配置法を提案する。 BOは確率的代理モデルと獲得関数を利用する機械学習技術である。 固定アウトラインマクロ配置問題に対して, 半周波線長目標を用いたアルゴリズムを実証する。
  論文  参考訳（メタデータ） (2022-07-18T06:17:06Z)
• A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
  我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。 LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。 LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T03:55:27Z)
• Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
  ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。 本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。 物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
  論文  参考訳（メタデータ） (2021-11-16T08:45:39Z)
• Uncertainty quantification using martingales for misspecified Gaussian processes [52.22233158357913]
  本稿では,ガウス過程(GP)の不確定な定量化を,不特定先行条件下で解決する。 マルティンゲール法を用いて未知関数に対する信頼シーケンス(CS)を構築する。 我々のCSは統計的に有効であり、実証的に標準GP法より優れています。
  論文  参考訳（メタデータ） (2020-06-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。