論文の概要: Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent

• arxiv url: http://arxiv.org/abs/2508.15674v1
• Date: Thu, 21 Aug 2025 15:55:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-22 16:26:46.394904
• Title: Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent
• Title（参考訳）: 改善を期待するベイズ最適化 - 再帰と既存の選択は行わない
• Authors: Jingyi Wang, Haowei Wang, Szu Hui Ng, Cosmin G. Petra,
• Abstract要約: 古典的なガウス過程予測改善(GP-EI)アルゴリズムを解析する。 GP-EI の BPMI と BSPMI との累積的後悔の上限を初めて提示する。 本研究は,GP-EIを雑音下で適用した場合の現職者選択に関する理論的ガイダンスを提供する。
• 参考スコア（独自算出の注目度）: 2.6552364931990926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Expected improvement (EI) is one of the most widely used acquisition functions in Bayesian optimization (BO). Despite its proven empirical success in applications, the cumulative regret upper bound of EI remains an open question. In this paper, we analyze the classic noisy Gaussian process expected improvement (GP-EI) algorithm. We consider the Bayesian setting, where the objective is a sample from a GP. Three commonly used incumbents, namely the best posterior mean incumbent (BPMI), the best sampled posterior mean incumbent (BSPMI), and the best observation incumbent (BOI) are considered as the choices of the current best value in GP-EI. We present for the first time the cumulative regret upper bounds of GP-EI with BPMI and BSPMI. Importantly, we show that in both cases, GP-EI is a no-regret algorithm for both squared exponential (SE) and Mat\'ern kernels. Further, we present for the first time that GP-EI with BOI either achieves a sublinear cumulative regret upper bound or has a fast converging noisy simple regret bound for SE and Mat\'ern kernels. Our results provide theoretical guidance to the choice of incumbent when practitioners apply GP-EI in the noisy setting. Numerical experiments are conducted to validate our findings.
• Abstract（参考訳）: 期待されている改善(EI)はベイズ最適化(BO)において最も広く用いられている獲得機能の一つである。 応用において実証的な成功が証明されているにもかかわらず、EIの累積的後悔の上限は未解決の問題のままである。 本稿では,古典的なガウス過程予測改善(GP-EI)アルゴリズムを解析する。 目的がGPからのサンプルであるベイズ的設定を考える。 GP-EIでは,最も多く使用されている3つの現像体,すなわち,最良の後平均現像体 (BPMI) , 最良の試料後平均現像体 (BSPMI) , 最高の観測現像体 (BOI) が, 現像体として選択される。 GP-EI の BPMI と BSPMI との累積的後悔の上限を初めて提示する。 GP-EI は2乗指数指数(SE) と Mat\'ern の双方のカーネルに対する非回帰アルゴリズムであることを示す。 さらに,BOI を用いた GP-EI が線形累積後悔上界を達成するか,SE および Mat\'ern カーネルに対して高速に収束する雑音的単純後悔境界を持つことを初めて提示する。 本研究は,GP-EIを雑音下で適用した場合の現職者選択に関する理論的ガイダンスを提供する。 数値実験により得られた知見を検証した。

関連論文リスト

• Efficient Prior Selection in Gaussian Process Bandits with Thompson Sampling [6.466505075075075]
  GPバンディットにおける共同選択と後悔の最小化のための2つのアルゴリズムを提案する。 理論的にはアルゴリズムを解析し,それぞれの後悔に対する上限を確立する。
  論文  参考訳（メタデータ） (2025-02-03T10:29:35Z)
• On the convergence rate of noisy Bayesian Optimization with Expected Improvement [2.250251490529229]
  期待されている改善(EI)はベイズ最適化において最も広く用いられている獲得関数の1つである。 我々は,3つの新規かつ重要な領域における収束理論のプロセスEIに貢献する。
  論文  参考訳（メタデータ） (2025-01-16T03:11:50Z)
• Regret Analysis for Randomized Gaussian Process Upper Confidence Bound [9.967062483758632]
  本稿では,GP-UCBの改良型であるGP-UCBのランダム化変異を解析する。 一定の信頼度パラメータを用いたGP-UCBは,線形に増大する累積的後悔を生じさせることを示す。
  論文  参考訳（メタデータ） (2024-09-02T06:49:29Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Scaling Gaussian Process Optimization by Evaluating a Few Unique Candidates Multiple Times [119.41129787351092]
  GPに基づく逐次ブラックボックス最適化は,複数の評価ステップの候補解に固執することで効率よく行うことができることを示す。 GP-UCB と GP-EI の2つのよく確立されたGP-Opt アルゴリズムを改良し,バッチ化された GP-Opt の規則を適応させる。
  論文  参考訳（メタデータ） (2022-01-30T20:42:14Z)
• Robust and Adaptive Temporal-Difference Learning Using An Ensemble of Gaussian Processes [70.80716221080118]
  本稿では、時間差学習(TD)による政策評価の世代的視点について考察する。 OS-GPTDアプローチは、状態-逆ペアのシーケンスを観測することにより、与えられたポリシーの値関数を推定するために開発された。 1つの固定カーネルに関連する限られた表現性を緩和するために、GP前の重み付けアンサンブル(E)を用いて代替のスキームを生成する。
  論文  参考訳（メタデータ） (2021-12-01T23:15:09Z)
• Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification [119.41129787351092]
  BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
  論文  参考訳（メタデータ） (2020-02-23T17:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。