論文の概要: On the convergence rate of noisy Bayesian Optimization with Expected Improvement

• arxiv url: http://arxiv.org/abs/2501.09262v2
• Date: Wed, 12 Feb 2025 16:07:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:46:38.132955
• Title: On the convergence rate of noisy Bayesian Optimization with Expected Improvement
• Title（参考訳）: 期待された改善を伴う雑音ベイズ最適化の収束率について
• Authors: Jingyi Wang, Haowei Wang, Nai-Yuan Chiang, Cosmin G. Petra,
• Abstract要約: 期待されている改善(EI)はベイズ最適化において最も広く用いられている獲得関数の1つである。 我々は,3つの新規かつ重要な領域における収束理論のプロセスEIに貢献する。
• 参考スコア（独自算出の注目度）: 2.250251490529229
• License:
• Abstract: Expected improvement (EI) is one of the most widely used acquisition functions in Bayesian optimization (BO). Despite its proven success in applications for decades, important open questions remain on the theoretical convergence behaviors and rates for EI. In this paper, we contribute to the convergence theory of EI in three novel and critical areas. First, we consider objective functions that fit under the Gaussian process (GP) prior assumption, whereas existing works mostly focus on functions in the reproducing kernel Hilbert space (RKHS). Second, we establish for the first time the asymptotic error bound and its corresponding rate for GP-EI with noisy observations under the GP prior assumption. Third, by investigating the exploration and exploitation properties of the non-convex EI function, we establish improved error bounds of GP-EI for both the noise-free and noisy cases.
• Abstract（参考訳）: 期待されている改善(EI)はベイズ最適化(BO)において最も広く用いられている獲得機能の一つである。 数十年にわたる応用の成功にもかかわらず、重要なオープンな疑問は、EIの理論的収束挙動とレートに残されている。 本稿では,3つの新規かつ重要な領域におけるEIの収束理論に寄与する。 まず、ガウス過程(GP)の前提条件に適合する目的関数を考えるが、既存の研究は主に再生カーネルヒルベルト空間(RKHS)の関数に焦点をあてる。 第2に,GP-EIにおける漸近誤差境界とそれに対応する速度をGP先行仮定の下で初めて確立する。 第3に,非凸EI関数の探索と利用特性を調べた結果,ノイズフリー,ノイズフリーともにGP-EIの誤差境界が改善した。

関連論文リスト

• A Unified Framework for Entropy Search and Expected Improvement in Bayesian Optimization [6.745285924097932]
  本稿では,EIと情報理論獲得関数が従来認識されていたよりも密接な関係があることを明らかにする統一理論フレームワークである変分エントロピー探索を導入する。 本稿では,EI と MES の強度のバランスをとる新しい獲得関数 VES-Gamma を提案する。
  論文  参考訳（メタデータ） (2025-01-30T21:15:00Z)
• Physics-Informed Bayesian Optimization of Variational Quantum Circuits [13.530592183149661]
  本稿では,変分量子固有解法(VQEs)のベイズ最適化手法を提案する。 量子回路に関する重要な事前情報を含むVQE-カーネルを導出する。 我々はまた、信頼領域(EMICoRe)に対する最大改善(Maximum Improvement)と呼ばれるベイズ最適化のための新しい獲得関数を提案する。
  論文  参考訳（メタデータ） (2024-06-10T10:17:06Z)
• Improving Kernel-Based Nonasymptotic Simultaneous Confidence Bands [0.0]
  本報告では,非漸近的かつ非漸近的保証を伴う非パラメトリック同時信頼バンドの構築問題について検討する。 このアプローチは、パーリー・ウィーナー核がヒルベルト空間を再現する理論に基づいている。
  論文  参考訳（メタデータ） (2024-01-28T22:43:33Z)
• A Corrected Expected Improvement Acquisition Function Under Noisy Observations [22.63212972670109]
  期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
  論文  参考訳（メタデータ） (2023-10-08T13:50:39Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。