論文の概要: Practical Efficient Global Optimization is No-regret
- arxiv url: http://arxiv.org/abs/2603.25311v1
- Date: Thu, 26 Mar 2026 10:58:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-27 20:52:48.252954
- Title: Practical Efficient Global Optimization is No-regret
- Title（参考訳）: 効率的なグローバル最適化は非回帰である
- Authors: Jingyi Wang, Haowei Wang, Nai-Yuan Chiang, Juliane Mueller, Tucker Hartland, Cosmin G. Petra,
- Abstract要約: 我々は,実用EGOの累積的後悔の上限を初めて提示する。
本稿では,実用的EGOには線形累積後悔境界があり,よく使われるカーネルに対する非回帰アルゴリズムであることを示す。
- 参考スコア（独自算出の注目度）: 4.457235444806696
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient global optimization (EGO) is one of the most widely used noise-free Bayesian optimization algorithms.It comprises the Gaussian process (GP) surrogate model and expected improvement (EI) acquisition function. In practice, when EGO is applied, a scalar matrix of a small positive value (also called a nugget or jitter) is usually added to the covariance matrix of the deterministic GP to improve numerical stability. We refer to this EGO with a positive nugget as the practical EGO. Despite its wide adoption and empirical success, to date, cumulative regret bounds for practical EGO have yet to be established. In this paper, we present for the first time the cumulative regret upper bound of practical EGO. In particular, we show that practical EGO has sublinear cumulative regret bounds and thus is a no-regret algorithm for commonly used kernels including the squared exponential (SE) and Matérn kernels ($ν>\frac{1}{2}$). Moreover, we analyze the effect of the nugget on the regret bound and discuss the theoretical implication on its choice. Numerical experiments are conducted to support and validate our findings.
- Abstract（参考訳）: 効率の良いグローバル最適化(EGO)はノイズフリーベイズ最適化アルゴリズムの1つであり、ガウス過程(GP)サロゲートモデルと予測改善(EI)取得関数から構成される。
実際には、EGOを適用する場合、小さな正の値(ナゲットやジッターとも呼ばれる)のスカラー行列が決定論的GPの共分散行列に追加され、数値安定性が向上する。
ポジティブなナゲットを持つこの EGO を実践的 EGO と呼ぶ。
広く採用され、実証的な成功にもかかわらず、実用EGOの累積的後悔境界はまだ確立されていない。
本稿では,実用EGOの累積的後悔上限を初めて提示する。
特に、実用的 EGO は部分線型累積後悔境界を持ち、従って平方指数 (SE) やマテラン核 (ν>\frac{1}{2}$) を含むよく使われるカーネルに対する非回帰アルゴリズムであることを示す。
さらに, ナゲットが後悔境界に及ぼす影響を解析し, その選択に対する理論的影響について考察する。
本研究の成果を裏付け, 検証するために, 数値実験を行った。
関連論文リスト
- Bayesian Optimization with Expected Improvement: No Regret and the Choice of Incumbent [2.6552364931990926]
古典的なガウス過程予測改善(GP-EI)アルゴリズムを解析する。
GP-EI の BPMI と BSPMI との累積的後悔の上限を初めて提示する。
本研究は,GP-EIを雑音下で適用した場合の現職者選択に関する理論的ガイダンスを提供する。
論文 参考訳（メタデータ） (2025-08-21T15:55:16Z) - Regret Optimality of GP-UCB [12.323109084902228]
ガウス過程 上信頼境界 (GP-UCB) は、ノイズの多い観測でブラックボックス関数を最適化する最も一般的な方法の1つである。
GP-UCB の単純かつ累積的後悔の両面に新たな上限を確立する。
同じレベルの探索で、GP-UCBは単純かつ累積的後悔の両方において、同時に最適性を達成することができる。
論文 参考訳（メタデータ） (2023-12-03T13:20:08Z) - On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。
私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文 参考訳（メタデータ） (2023-07-14T13:56:11Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。
解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
論文 参考訳（メタデータ） (2023-03-31T02:10:30Z) - Lenient Regret and Good-Action Identification in Gaussian Process
Bandits [43.03669155559218]
我々は、あるしきい値を超える関数値が「十分良い」という緩和された最適化基準の下で、ガウス過程(GP)バンディットの問題を研究する。
実用面では、既知のしきい値に従って1つの「良い行動」を見つけることの問題を考えるとともに、しきい値の知識を生かしたいくつかの善行動識別アルゴリズムを導入する。
論文 参考訳（メタデータ） (2021-02-11T01:16:58Z) - TREGO: a Trust-Region Framework for Efficient Global Optimization [63.995130144110156]
信頼領域型EGO法(TREGO)の提案と解析を行う。
TREGOは、信頼領域内の通常のEGOステップとローカルステップを交互に使用する。
我々のアルゴリズムは、最適化ステップのサブセットのみのために、EGOから離脱しながら、強いグローバル収束特性を享受する。
論文 参考訳（メタデータ） (2021-01-18T00:14:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。