論文の概要: On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise

• arxiv url: http://arxiv.org/abs/2412.18789v1
• Date: Wed, 25 Dec 2024 05:57:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:28:59.245336
• Title: On Improved Regret Bounds In Bayesian Optimization with Gaussian Noise
• Title（参考訳）: ガウス雑音によるベイズ最適化におけるレグレト境界の改善について
• Authors: Jingyi Wang, Haowei Wang, Cosmin G. Petra, Nai-Yuan Chiang,
• Abstract要約: BOアルゴリズムの収束解析は、目的のためのベイズ的および頻繁な設定の下での累積的後悔に焦点を当てている。 我々はガウス雑音の頻繁な設定の下で,GPの予測誤差に新たな点を定めている。 GP-UCB と GP-TS の累積後悔結合の収束率の改善を証明した。
• 参考スコア（独自算出の注目度）: 2.250251490529229
• License:
• Abstract: Bayesian optimization (BO) with Gaussian process (GP) surrogate models is a powerful black-box optimization method. Acquisition functions are a critical part of a BO algorithm as they determine how the new samples are selected. Some of the most widely used acquisition functions include upper confidence bound (UCB) and Thompson sampling (TS). The convergence analysis of BO algorithms has focused on the cumulative regret under both the Bayesian and frequentist settings for the objective. In this paper, we establish new pointwise bounds on the prediction error of GP under the frequentist setting with Gaussian noise. Consequently, we prove improved convergence rates of cumulative regret bound for both GP-UCB and GP-TS. Of note, the new prediction error bound under Gaussian noise can be applied to general BO algorithms and convergence analysis, e.g., the asymptotic convergence of expected improvement (EI) with noise.
• Abstract（参考訳）: ガウス過程(GP)シュロゲートモデルを用いたベイズ最適化(BO)は強力なブラックボックス最適化手法である。 取得関数はBOアルゴリズムの重要な部分であり、新しいサンプルをどのように選択するかを決定する。 最も広く使われている取得関数には、上位信頼境界 (UCB) とトンプソンサンプリング (TS) がある。 BOアルゴリズムの収束解析は、目的のためのベイズ的および頻繁な設定の下での累積的後悔に焦点を当てている。 本稿では,ガウス雑音を伴う頻繁な設定の下で,GPの予測誤差に新たなポイントワイド境界を確立する。 その結果,GP-UCB と GP-TS の累積後悔結合の収束率の向上が証明された。 ガウス雑音下での新たな予測誤差は、一般的なBOアルゴリズムや収束解析(例えば、期待される改善(EI)とノイズとの漸近収束)に適用できる。

関連論文リスト

• Regret Analysis for Randomized Gaussian Process Upper Confidence Bound [9.967062483758632]
  本稿では,GP-UCBの改良型であるGP-UCBのランダム化変異を解析する。 両方の後悔解析において、IRGP-UCBは入力領域が有限であれば信頼パラメータを増大させることなく、サブ線形後悔上限を達成する。
  論文  参考訳（メタデータ） (2024-09-02T06:49:29Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• A Corrected Expected Improvement Acquisition Function Under Noisy Observations [22.63212972670109]
  期待される改善の順序 (EI) はベイズ最適化において最も広く用いられている政策の一つである。 既存の解に関する不確実性は、多くの解析的EI型法で無視されることが多い。 本稿では,ガウス過程(GP)モデルによって提供される共分散情報を組み込むことで,その閉形式表現を補正するEIの修正を提案する。
  論文  参考訳（メタデータ） (2023-10-08T13:50:39Z)
• Batch Bayesian optimisation via density-ratio estimation with guarantees [26.052368583196426]
  本稿では,BOREの後悔を理論的に分析し,不確実性の推定を改良したアルゴリズムの拡張について述べる。 また,BOREを近似ベイズ推論として再キャストすることにより,バッチ最適化設定に自然に拡張可能であることを示す。
  論文  参考訳（メタデータ） (2022-09-22T00:42:18Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• No-Regret Algorithms for Time-Varying Bayesian Optimization [0.0]
  我々は,時間変動環境を捉えるために,一般変動予算モデルを採用する。 R-GP-UCBとSW-GP-UCBの2つのGP-UCB型アルゴリズムを紹介します。 この結果は,線形カーネルを用いた場合の先行線形バンディット結果を回復するだけでなく,時間変動ガウス過程バンディットの先行後悔解析を補完するものである。
  論文  参考訳（メタデータ） (2021-02-11T22:35:32Z)
• Plug-And-Play Learned Gaussian-mixture Approximate Message Passing [71.74028918819046]
  そこで本研究では,従来のi.i.d.ソースに適した圧縮圧縮センシング(CS)リカバリアルゴリズムを提案する。 我々のアルゴリズムは、Borgerdingの学習AMP(LAMP)に基づいて構築されるが、アルゴリズムに普遍的な復調関数を採用することにより、それを大幅に改善する。 数値評価により,L-GM-AMPアルゴリズムは事前の知識を必要とせず,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-11-18T16:40:45Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。