論文の概要: Comparison of High-Dimensional Bayesian Optimization Algorithms on BBOB
- arxiv url: http://arxiv.org/abs/2303.00890v1
- Date: Thu, 2 Mar 2023 01:14:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-03 16:38:41.469485
- Title: Comparison of High-Dimensional Bayesian Optimization Algorithms on BBOB
- Title（参考訳）: BBOBを用いた高次元ベイズ最適化アルゴリズムの比較
- Authors: Maria Laura Santoni, Elena Raponi, Renato De Leone, Carola Doerr
- Abstract要約: 我々は,5つの最先端高次元BOアルゴリズムと,バニラとCMA-ESを10変数から60変数の範囲で比較した。
本結果は, CMA-ESに対するBOの優位性を確認し, 限られた評価予算について検証した。
- 参考スコア（独自算出の注目度）: 0.8258451067861933
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian Optimization (BO) is a class of black-box, surrogate-based
heuristics that can efficiently optimize problems that are expensive to
evaluate, and hence admit only small evaluation budgets. BO is particularly
popular for solving numerical optimization problems in industry, where the
evaluation of objective functions often relies on time-consuming simulations or
physical experiments. However, many industrial problems depend on a large
number of parameters. This poses a challenge for BO algorithms, whose
performance is often reported to suffer when the dimension grows beyond 15
variables. Although many new algorithms have been proposed to address this
problem, it is not well understood which one is the best for which optimization
scenario.
In this work, we compare five state-of-the-art high-dimensional BO
algorithms, with vanilla BO and CMA-ES on the 24 BBOB functions of the COCO
environment at increasing dimensionality, ranging from 10 to 60 variables. Our
results confirm the superiority of BO over CMA-ES for limited evaluation
budgets and suggest that the most promising approach to improve BO is the use
of trust regions. However, we also observe significant performance differences
for different function landscapes and budget exploitation phases, indicating
improvement potential, e.g., through hybridization of algorithmic components.
- Abstract（参考訳）: ベイズ最適化(英: bayesian optimization、bo)は、評価に費用がかかる問題を効率的に最適化できるブラックボックスベースのヒューリスティックである。
BOは特に、目的関数の評価が時間を要するシミュレーションや物理実験に依存する産業における数値最適化問題の解法として人気がある。
しかし、多くの産業問題は多くのパラメータに依存している。
BOアルゴリズムは、次元が15変数を超えると、しばしば性能が損なわれると報告される。
この問題に対処するために多くの新しいアルゴリズムが提案されているが、どの最適化シナリオが最適かはよく分かっていない。
本研究では,COCO環境の24BBOB関数に対するバニラBOとCMA-ESの5つの高次元BOアルゴリズムを10から60変数の範囲で比較した。
以上の結果から, CMA-ESよりもBOを優先的に評価し, BO改善の最も有望なアプローチは信頼領域の利用であることが示唆された。
しかし,異なる関数ランドスケープや予算活用フェーズにおいて,アルゴリズムコンポーネントのハイブリダイゼーションによる改善可能性を示す重要な性能差も観察した。
関連論文リスト
- Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions [0.0]
信頼領域に基づくBOを拡張した LABCAT アルゴリズムを提案する。
このアルゴリズムは、最先端のBOや他のブラックボックス最適化アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-19T13:56:24Z) - Optimizing with Low Budgets: a Comparison on the Black-box Optimization
Benchmarking Suite and OpenAI Gym [2.511157007295545]
Black-box Optimization (BO)アルゴリズムは機械学習(ML)で人気がある
MLのためのBBOツールと、より古典的なCOCOの比較を行う。
BBOコミュニティのアルゴリズムの中には、MLタスクで驚くほどうまく機能するものもある。
論文 参考訳（メタデータ） (2023-09-29T18:33:10Z) - Non-Convex Bilevel Optimization with Time-Varying Objective Functions [57.299128109226025]
本稿では,時間変化の可能なオンライン二段階最適化を提案し,エージェントがオンラインデータを用いて決定を継続的に更新する。
既存のアルゴリズムと比較して、SOBOWは計算効率が良く、以前の関数を知る必要がない。
軽度条件下では,SOBOWはサブリニアな局所的後悔を達成できることを示す。
論文 参考訳（メタデータ） (2023-08-07T06:27:57Z) - Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。
我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。
我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
論文 参考訳（メタデータ） (2023-06-01T19:10:57Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation [0.01652719262940403]
最適化問題は、しばしば計算的に、あるいは金銭的にコストがかかる複数の矛盾する目標を持つ。
単代理ベイズ最適化(BO)は、そのようなブラックボックス関数を最適化するための一般的なモデルベースのアプローチである。
BOREによるBOの先行研究を多目的設定に拡張する。
論文 参考訳（メタデータ） (2022-03-31T09:27:59Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳（メタデータ） (2021-03-30T19:45:18Z) - Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search
Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。
理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文 参考訳（メタデータ） (2020-09-05T14:24:40Z) - Generalized and Scalable Optimal Sparse Decision Trees [56.35541305670828]
様々な目的に対して最適な決定木を生成する手法を提案する。
また,連続変数が存在する場合に最適な結果が得られるスケーラブルなアルゴリズムも導入する。
論文 参考訳（メタデータ） (2020-06-15T19:00:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。