論文の概要: Deterministic Global Optimization of the Acquisition Function in Bayesian Optimization: To Do or Not To Do?
- arxiv url: http://arxiv.org/abs/2503.03625v1
- Date: Wed, 05 Mar 2025 16:05:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-06 15:50:56.322800
- Title: Deterministic Global Optimization of the Acquisition Function in Bayesian Optimization: To Do or Not To Do?
- Title（参考訳）: ベイズ最適化における獲得関数の決定論的グローバル最適化:すべきか否か?
- Authors: Anastasia Georgiou, Daniel Jungen, Luise Kaven, Verena Hunstig, Constantine Frangakis, Ioannis Kevrekidis, Alexander Mitsos,
- Abstract要約: 決定論的大域的解法(MAiNGO)の利点とデメリットを,従来の局所的解法や大域的解法と比較して検討した。
CPU効率の面では,MAiNGOのタイムリミットを設定し,最適点を最適とした。
- 参考スコア（独自算出の注目度）: 36.814181034608666
- License:
- Abstract: Bayesian Optimization (BO) with Gaussian Processes relies on optimizing an acquisition function to determine sampling. We investigate the advantages and disadvantages of using a deterministic global solver (MAiNGO) compared to conventional local and stochastic global solvers (L-BFGS-B and multi-start, respectively) for the optimization of the acquisition function. For CPU efficiency, we set a time limit for MAiNGO, taking the best point as optimal. We perform repeated numerical experiments, initially using the Muller-Brown potential as a benchmark function, utilizing the lower confidence bound acquisition function; we further validate our findings with three alternative benchmark functions. Statistical analysis reveals that when the acquisition function is more exploitative (as opposed to exploratory), BO with MAiNGO converges in fewer iterations than with the local solvers. However, when the dataset lacks diversity, or when the acquisition function is overly exploitative, BO with MAiNGO, compared to the local solvers, is more likely to converge to a local rather than a global ly near-optimal solution of the black-box function. L-BFGS-B and multi-start mitigate this risk in BO by introducing stochasticity in the selection of the next sampling point, which enhances the exploration of uncharted regions in the search space and reduces dependence on acquisition function hyperparameters. Ultimately, suboptimal optimization of poorly chosen acquisition functions may be preferable to their optimal solution. When the acquisition function is more exploratory, BO with MAiNGO, multi-start, and L-BFGS-B achieve comparable probabilities of convergence to a globally near-optimal solution (although BO with MAiNGO may require more iterations to converge under these conditions).
- Abstract（参考訳）: ガウス過程を持つベイズ最適化(BO)は、サンプリングを決定するために取得関数を最適化することに依存する。
従来の局所的および確率的大域的解法 (L-BFGS-Bとマルチスタート) と比較して, 決定論的大域的解法 (MAiNGO) を用いることの利点と欠点について検討した。
CPU効率の面では,MAiNGOのタイムリミットを設定し,最適点を最適とした。
我々はまず,まずMuler-Brownポテンシャルをベンチマーク関数として,低信頼度境界獲得関数を用いて数値実験を行い,さらに3つの代替ベンチマーク関数を用いて実験結果を検証した。
統計的解析により、取得関数が(探索とは対照的に)より搾取的であれば、MAiNGOを持つBOは局所解法よりも少ない反復で収束することが明らかになった。
しかし、データセットが多様性を欠いている場合や、取得関数が過度に悪用されている場合、MAiNGOのBOは、局所的な解法と比較して、ブラックボックス関数のグローバルな最適解よりも、局所的に収束する可能性が高い。
L-BFGS-Bとマルチスタートは、次のサンプリングポイントの選択に確率性を導入することでBOのこのリスクを軽減する。
究極的には、未選択の取得関数の最適部分最適化がその最適解に好適である。
取得関数がより探索的であれば、MAiNGO, multi-start, L-BFGS-B を持つ BO は、大域的最適解に匹敵する収束確率を得る(ただし、MAiNGO を持つ BO はこれらの条件の下で収束するためにより多くの反復を必要とする)。
関連論文リスト
- Optimizing Posterior Samples for Bayesian Optimization via Rootfinding [2.94944680995069]
我々は,グローバルなルートフィンディングに基づく後方サンプルの効率的な大域的最適化手法を提案する。
注目すべきは、各集合から 1 点しか持たなくても、大域的最適度は大抵の場合発見されることである。
提案手法は,エントロピー探索の変種など,他の後部サンプルベース獲得関数の性能も向上する。
論文 参考訳（メタデータ） (2024-10-29T17:57:16Z) - High-dimensional Bayesian Optimization via Covariance Matrix Adaptation
Strategy [16.521207412129833]
本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。
この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。
提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
論文 参考訳（メタデータ） (2024-02-05T15:32:10Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - A Bayesian Optimization Framework for Finding Local Optima in Expensive
Multi-Modal Functions [18.570591025615453]
本稿では,高コストで評価可能なマルチモーダル目的関数に対する局所的・言語的ソリューションの集合を見つけるためのマルチモーダルBOフレームワークを開発する。
目的関数とその一階微分の結合分布を解析的に導出する。
本稿では、マルチモーダル設定によく知られたBO取得関数の変種を導入し、提案フレームワークの性能を実証する。
論文 参考訳（メタデータ） (2022-10-13T00:10:13Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Optimizing Bayesian acquisition functions in Gaussian Processes [0.0]
本稿では,最大改善確率や期待改善率などの異なる取得機能について分析する。
また, 時間分析とともに, 選択した初期試料の位置の重要性も示した。
論文 参考訳（メタデータ） (2021-11-09T03:25:15Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。