論文の概要: On the convergence of noisy Bayesian Optimization with Expected Improvement

• arxiv url: http://arxiv.org/abs/2501.09262v1
• Date: Thu, 16 Jan 2025 03:11:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-17 15:11:12.873643
• Title: On the convergence of noisy Bayesian Optimization with Expected Improvement
• Title（参考訳）: 期待された改善を伴う雑音ベイズ最適化の収束について
• Authors: Jingyi Wang, Haowei Wang, Cosmin G. Petra, Nai-Yuan Chiang,
• Abstract要約: 期待されている改善(EI)はベイズ最適化において最も広く使われている獲得機能の一つである。 我々は3つの新しい領域における収束理論EIに貢献する。 ノイズのないケースとノイズの多いケースの両方でエラー境界が改善したことを証明した。
• 参考スコア（独自算出の注目度）: 2.250251490529229
• License:
• Abstract: Expected improvement (EI) is one of the most widely-used acquisition functions in Bayesian optimization (BO). Despite its proven success in applications for decades, important open questions remain on the theoretical convergence behaviors and rates for EI. In this paper, we contribute to the convergence theories of EI in three novel and critical area. First, we consider objective functions that are under the Gaussian process (GP) prior assumption, whereas existing works mostly focus on functions in the reproducing kernel Hilbert space (RKHS). Second, we establish the first asymptotic error bound and its corresponding rate for GP-EI with noisy observations under the GP prior assumption. Third, by investigating the exploration and exploitation of the non-convex EI function, we prove improved error bounds for both the noise-free and noisy cases. The improved noiseless bound is extended to the RKHS assumption as well.
• Abstract（参考訳）: 期待されている改善(EI)はベイズ最適化(BO)において最も広く使われている獲得機能の一つである。 数十年にわたる応用の成功にもかかわらず、重要なオープンな疑問は、EIの理論的収束挙動とレートに残されている。 本稿では,3つの新規かつ臨界領域におけるEIの収束理論に寄与する。 まず、ガウス過程 (GP) の前提条件下にある目的関数を考えるが、既存の研究は主に再生カーネルヒルベルト空間 (RKHS) の関数に焦点を当てている。 第2に,GP-EI に対する最初の漸近誤差境界とそれに対応する速度を,GP 前提条件下でのノイズ観測で確立する。 第3に,非凸EI関数の探索と利用について検討することにより,ノイズフリー,ノイズフリーの両ケースにおける誤差境界の改善を証明した。 改良されたノイズレス境界は、RKHSの仮定にも拡張される。

関連論文リスト

• Physics-Informed Bayesian Optimization of Variational Quantum Circuits [13.530592183149661]
  本稿では,変分量子固有解法(VQEs)のベイズ最適化手法を提案する。 量子回路に関する重要な事前情報を含むVQE-カーネルを導出する。 我々はまた、信頼領域(EMICoRe)に対する最大改善(Maximum Improvement)と呼ばれるベイズ最適化のための新しい獲得関数を提案する。
  論文  参考訳（メタデータ） (2024-06-10T10:17:06Z)
• Information-Theoretic Safe Bayesian Optimization [59.758009422067005]
  そこでは、未知の(安全でない)制約に反するパラメータを評価することなく、未知の関数を最適化することを目的としている。 現在のほとんどのメソッドはドメインの離散化に依存しており、連続ケースに直接拡張することはできない。 本稿では,GP後部を直接利用して,最も情報に富む安全なパラメータを識別する情報理論的安全な探索基準を提案する。
  論文  参考訳（メタデータ） (2024-02-23T14:31:10Z)
• Improving Kernel-Based Nonasymptotic Simultaneous Confidence Bands [0.0]
  本報告では,非漸近的かつ非漸近的保証を伴う非パラメトリック同時信頼バンドの構築問題について検討する。 このアプローチは、パーリー・ウィーナー核がヒルベルト空間を再現する理論に基づいている。
  論文  参考訳（メタデータ） (2024-01-28T22:43:33Z)
• A Corrected Expected Improvement Acquisition Function Under Noisy Observations [22.63212972670109]
  期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
  論文  参考訳（メタデータ） (2023-10-08T13:50:39Z)
• Relaxed Gaussian process interpolation: a goal-oriented approach to Bayesian optimization [0.0]
  本研究では,ガウス過程(GP)モデリングの文脈で予測分布を求める新しい手法を提案する。 緩和ガウス過程(reGP)と呼ばれる手法は、興味の範囲でより良い予測分布を提供する。 これはゴール指向の方法と見なすことができ、ベイズ最適化において特に興味深いものとなる。
  論文  参考訳（メタデータ） (2022-06-07T06:26:46Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Rectified Max-Value Entropy Search for Bayesian Optimization [54.26984662139516]
  我々は、相互情報の概念に基づいて、修正されたMES取得関数を開発する。 その結果、RMESは、いくつかの合成関数ベンチマークと実世界の最適化問題において、MESよりも一貫した改善を示している。
  論文  参考訳（メタデータ） (2022-02-28T08:11:02Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。