論文の概要: PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial
Surrogates
- arxiv url: http://arxiv.org/abs/2403.07485v1
- Date: Tue, 12 Mar 2024 10:21:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 22:01:02.407226
- Title: PMBO: Enhancing Black-Box Optimization through Multivariate Polynomial
Surrogates
- Title（参考訳）: PMBO:多変量ポリノミアルサロゲートによるブラックボックス最適化の強化
- Authors: Janina Schreiber, Pau Batlle, Damar Wicaksono, Michael Hecht
- Abstract要約: 我々は、PMBO(Polynomial-based Optimization)と呼ばれるサロゲートベースのブラックボックス最適化手法を導入する。
PMBOの性能を解析的テスト関数の集合に対するいくつかの最適化手法と比較する。
興味深いことに、PMBOは最先端の進化アルゴリズムと互換性がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We introduce a surrogate-based black-box optimization method, termed
Polynomial-model-based optimization (PMBO). The algorithm alternates polynomial
approximation with Bayesian optimization steps, using Gaussian processes to
model the error between the objective and its polynomial fit. We describe the
algorithmic design of PMBO and compare the results of the performance of PMBO
with several optimization methods for a set of analytic test functions.
The results show that PMBO outperforms the classic Bayesian optimization and
is robust with respect to the choice of its correlation function family and its
hyper-parameter setting, which, on the contrary, need to be carefully tuned in
classic Bayesian optimization. Remarkably, PMBO performs comparably with
state-of-the-art evolutionary algorithms such as the Covariance Matrix
Adaptation -- Evolution Strategy (CMA-ES). This finding suggests that PMBO
emerges as the pivotal choice among surrogate-based optimization methods when
addressing low-dimensional optimization problems. Hereby, the simple nature of
polynomials opens the opportunity for interpretation and analysis of the
inferred surrogate model, providing a macroscopic perspective on the landscape
of the objective function.
- Abstract（参考訳）: 本稿では,PMBO (Polynomial-model-based optimization) と呼ばれるサロゲートベースのブラックボックス最適化手法を提案する。
このアルゴリズムは、目的と多項式適合の間の誤差をモデル化するためにガウス過程を用いて、多項式近似をベイズ最適化ステップと交換する。
本稿では,PMBOのアルゴリズム設計について述べるとともに,PMBOの性能を解析的テスト関数の集合に対する最適化手法と比較する。
その結果、PMBOは古典的ベイズ最適化よりも優れており、相関関数群とそのハイパーパラメータ設定の選択に対して頑健であり、逆に古典的ベイズ最適化において慎重に調整する必要があることが示された。
PMBOは、Covariance Matrix Adaptation -- Evolution Strategy (CMA-ES)のような最先端の進化的アルゴリズムと互換性がある。
この結果から,PMBOは低次元最適化問題に対処する際,サロゲートに基づく最適化手法の重要選択として現れることが示唆された。
ここで、多項式の簡素な性質は推論されたサーロゲートモデルの解釈と解析の機会を開き、対象関数のランドスケープに関する大局的な視点を提供する。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Simulation Based Bayesian Optimization [0.6526824510982799]
本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。
SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。
代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
論文 参考訳（メタデータ） (2024-01-19T16:56:11Z) - qPOTS: Efficient batch multiobjective Bayesian optimization via Pareto
optimal Thompson sampling [0.0]
多目的最適化を解くためのサンプル効率のアプローチはプロセス・オラクル・サロゲート (GP) を経由する。
本稿では,ランダムGPサンプルのフロンティアから新しい候補を選択する,単純かつ効果的なトンプソンサンプリングに基づくアプローチを提案する。
提案手法は, 実世界の実験だけでなく, 精度, 計算効率の両面において, 高い実験性能を示すものである。
論文 参考訳（メタデータ） (2023-10-24T12:35:15Z) - Polynomial-Model-Based Optimization for Blackbox Objectives [0.0]
ブラックボックス最適化は、事前定義された目的関数が最小化されるようなシステムに対して最適なパラメータを求める。
PMBOは目的関数にサロゲートを合わせることで最小値を求める新しいブラックボックスである。
PMBOは、与えられた人工的解析関数のセットに対して、他の最先端のアルゴリズムとベンチマークされる。
論文 参考訳（メタデータ） (2023-09-01T14:11:03Z) - Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。
我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。
これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
論文 参考訳（メタデータ） (2022-12-21T06:10:12Z) - An Empirical Evaluation of Zeroth-Order Optimization Methods on
AI-driven Molecule Optimization [78.36413169647408]
分子目的を最適化するための様々なZO最適化手法の有効性について検討する。
ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。
本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
論文 参考訳（メタデータ） (2022-10-27T01:58:10Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Sparse high-dimensional linear regression with a partitioned empirical
Bayes ECM algorithm [62.997667081978825]
疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。
パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。
提案手法はRパッケージプローブに実装されている。
論文 参考訳（メタデータ） (2022-09-16T19:15:50Z) - Multi-objective hyperparameter optimization with performance uncertainty [62.997667081978825]
本稿では,機械学習アルゴリズムの評価における不確実性を考慮した多目的ハイパーパラメータ最適化の結果について述べる。
木構造型Parzen Estimator(TPE)のサンプリング戦略と、ガウス過程回帰(GPR)と異種雑音の訓練後に得られたメタモデルを組み合わせる。
3つの解析的テスト関数と3つのML問題の実験結果は、多目的TPEとGPRよりも改善したことを示している。
論文 参考訳（メタデータ） (2022-09-09T14:58:43Z) - Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
バイレベル最適化は多くの機械学習問題に対するツールである。
Stoc-BiO という新しい確率効率勾配推定器を提案する。
論文 参考訳（メタデータ） (2020-10-15T18:09:48Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳（メタデータ） (2020-07-02T07:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。