論文の概要: Revisiting Bayesian Optimization in the light of the COCO benchmark
- arxiv url: http://arxiv.org/abs/2103.16649v1
- Date: Tue, 30 Mar 2021 19:45:18 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-02 09:23:31.395923
- Title: Revisiting Bayesian Optimization in the light of the COCO benchmark
- Title（参考訳）: COCOベンチマークによるベイズ最適化の再検討
- Authors: Rodolphe Le Riche, Victor Picheny
- Abstract要約: 本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
- 参考スコア（独自算出の注目度）: 1.4467794332678539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is commonly believed that Bayesian optimization (BO) algorithms are highly
efficient for optimizing numerically costly functions. However, BO is not often
compared to widely different alternatives, and is mostly tested on narrow sets
of problems (multimodal, low-dimensional functions), which makes it difficult
to assess where (or if) they actually achieve state-of-the-art performance.
Moreover, several aspects in the design of these algorithms vary across
implementations without a clear recommendation emerging from current practices,
and many of these design choices are not substantiated by authoritative test
campaigns. This article reports a large investigation about the effects on the
performance of (Gaussian process based) BO of common and less common design
choices. The experiments are carried out with the established COCO (COmparing
Continuous Optimizers) software. It is found that a small initial budget, a
quadratic trend, high-quality optimization of the acquisition criterion bring
consistent progress. Using the GP mean as an occasional acquisition contributes
to a negligible additional improvement. Warping degrades performance. The
Mat\'ern 5/2 kernel is a good default but it may be surpassed by the
exponential kernel on irregular functions. Overall, the best EGO variants are
competitive or improve over state-of-the-art algorithms in dimensions less or
equal to 5 for multimodal functions. The code developed for this study makes
the new version (v2.1.1) of the R package DiceOptim available on CRAN. The
structure of the experiments by function groups allows to define priorities for
future research on Bayesian optimization.
- Abstract（参考訳）: ベイズ最適化(BO)アルゴリズムは数値的にコストのかかる関数を最適化するのに非常に効率的であると考えられている。
しかし、BOは広範に異なる代替品と比較されることが少なく、主に狭い問題の集合(多次元、低次元の関数)でテストされており、それらが実際に最先端のパフォーマンスを達成するか(あるいはその場合)を評価することは困難である。
さらに、これらのアルゴリズムの設計におけるいくつかの側面は、現在のプラクティスから生じる明確な推奨なしに実装によって異なり、これらの設計選択の多くは、権威あるテストキャンペーンによって証明されない。
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
実験は、確立したCOCO(Comparing Continuous Optimizers)ソフトウェアで実施される。
その結果,小額な初期予算,二次的な傾向,買収基準の高品質な最適化が一貫した進展をもたらすことがわかった。
gp平均を時々取得として使用することは、無視できる追加改善に寄与する。
ウォーピングはパフォーマンスを劣化させる。
mat\'ern 5/2 カーネルは良い既定値であるが、不規則関数の指数核によって超えられる可能性がある。
全体として、最高のEGO変種は、マルチモーダル関数の次元が5以下である場合、最先端のアルゴリズムよりも競争力があるか改善されている。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
関数群による実験の構造は、ベイズ最適化に関する将来の研究の優先事項を定義することができる。
関連論文リスト
- A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳（メタデータ） (2023-11-24T18:27:26Z) - Comparison of High-Dimensional Bayesian Optimization Algorithms on BBOB [0.40498500266986387]
我々は,5つの最先端高次元BOアルゴリズムと,バニラとCMA-ESを10変数から60変数の範囲で比較した。
本結果は, CMA-ESに対するBOの優位性を確認し, 限られた評価予算について検証した。
論文 参考訳（メタデータ） (2023-03-02T01:14:15Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Efficient computation of the Knowledge Gradient for Bayesian
Optimization [1.0497128347190048]
One-shot Hybrid KGは、これまで提案されていたアイデアをいくつか組み合わせた新しいアプローチであり、計算が安価で、強力で効率的である。
すべての実験はBOTorchで実施され、同等または改善された性能で計算オーバーヘッドを劇的に削減した。
論文 参考訳（メタデータ） (2022-09-30T10:39:38Z) - MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation [0.01652719262940403]
最適化問題は、しばしば計算的に、あるいは金銭的にコストがかかる複数の矛盾する目標を持つ。
単代理ベイズ最適化(BO)は、そのようなブラックボックス関数を最適化するための一般的なモデルベースのアプローチである。
BOREによるBOの先行研究を多目的設定に拡張する。
論文 参考訳（メタデータ） (2022-03-31T09:27:59Z) - Bayesian Optimization over Permutation Spaces [30.650753803587794]
BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。
BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。
複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-12-02T08:20:50Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Bayesian Optimization with a Prior for the Optimum [41.41323474440455]
BOPrO (Preside for the Optimum) を用いたベイズ最適化について紹介する。
BOPrOは、入力空間のどの部分が最高のパフォーマンスをもたらすかという事前の形式で、最適化プロセスに自分の知識を注入することを可能にする。
BOPrOは、一般的なベンチマークスイートの最先端メソッドよりも約6.67倍高速であることを示す。
論文 参考訳（メタデータ） (2020-06-25T17:49:24Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。