論文の概要: PI is back! Switching Acquisition Functions in Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2211.01455v1
- Date: Wed, 2 Nov 2022 19:49:03 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-04 13:45:49.601629
- Title: PI is back! Switching Acquisition Functions in Bayesian Optimization
- Title（参考訳）: PIが戻ってきた!
ベイズ最適化における獲得関数の切り替え
- Authors: Carolin Benjamins, Elena Raponi, Anja Jankovic, Koen van der Blom,
Maria Laura Santoni, Marius Lindauer, and Carola Doerr
- Abstract要約: 我々は、期待された改善(EI)と改善の確率(PI)を取得関数としてSMAC3をベンチマークする。
1つのスケジュールは、EIの爆発的な動作を初期最適化ステップで使用することを目的としており、最終ステップでより良い利用のためにPIに切り替える。
その結果,最適化予算の最初の25%をEIに割り当て,最後の75%をPIに割り当てるスケジュールは信頼性の高いデフォルトであることが示唆された。
- 参考スコア（独自算出の注目度）: 10.014619543479876
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Bayesian Optimization (BO) is a powerful, sample-efficient technique to
optimize expensive-to-evaluate functions. Each of the BO components, such as
the surrogate model, the acquisition function (AF), or the initial design, is
subject to a wide range of design choices. Selecting the right components for a
given optimization task is a challenging task, which can have significant
impact on the quality of the obtained results. In this work, we initiate the
analysis of which AF to favor for which optimization scenarios. To this end, we
benchmark SMAC3 using Expected Improvement (EI) and Probability of Improvement
(PI) as acquisition functions on the 24 BBOB functions of the COCO environment.
We compare their results with those of schedules switching between AFs. One
schedule aims to use EI's explorative behavior in the early optimization steps,
and then switches to PI for a better exploitation in the final steps. We also
compare this to a random schedule and round-robin selection of EI and PI. We
observe that dynamic schedules oftentimes outperform any single static one. Our
results suggest that a schedule that allocates the first 25 % of the
optimization budget to EI and the last 75 % to PI is a reliable default.
However, we also observe considerable performance differences for the 24
functions, suggesting that a per-instance allocation, possibly learned on the
fly, could offer significant improvement over the state-of-the-art BO designs.
- Abstract（参考訳）: ベイズ最適化 (bayesian optimization, bo) は、費用対評価関数を最適化する、強力でサンプル効率の良い手法である。
代理モデル、取得関数(AF)、初期設計などのBOコンポーネントはそれぞれ、幅広い設計選択の対象となっている。
与えられた最適化タスクに適したコンポーネントを選択することは難しい作業であり、その結果の品質に大きな影響を与える可能性がある。
本研究では,AFがどの最適化シナリオに有利かの分析を開始する。
そこで我々は,COCO環境の24BBOB関数の取得関数として,期待改善(EI)と改善確率(PI)を用いてSMAC3をベンチマークした。
我々は,これらの結果をafs間を切り替えるスケジュールと比較する。
1つのスケジュールは、EIの爆発的な動作を初期最適化ステップで使用することを目的としており、最終ステップでより良い利用のためにPIに切り替える。
また、これをEIとPIのランダムなスケジュールとラウンドロビンの選択と比較する。
動的スケジュールは、静的などのスケジュールよりもよく優れています。
その結果,最適化予算の最初の25%をEIに割り当て,最後の75%をPIに割り当てるスケジュールは信頼性の高いデフォルトであることが示唆された。
しかし,24機能の性能の差異も観察し,実機で学べば,最先端のbo設計よりも大幅に改善できる可能性が示唆された。
関連論文リスト
- Approximation-Aware Bayesian Optimization [34.56666383247348]
高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。
本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。
ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
論文 参考訳（メタデータ） (2024-06-06T17:55:02Z) - Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。
このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
論文 参考訳（メタデータ） (2024-05-28T07:38:39Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳（メタデータ） (2023-11-24T18:27:26Z) - Towards Automated Design of Bayesian Optimization via Exploratory
Landscape Analysis [11.143778114800272]
AFの動的選択はBO設計に有用であることを示す。
我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
論文 参考訳（メタデータ） (2022-11-17T17:15:04Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳（メタデータ） (2022-07-07T04:42:54Z) - Bayesian Optimization over Permutation Spaces [30.650753803587794]
BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。
BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。
複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
論文 参考訳（メタデータ） (2021-12-02T08:20:50Z) - One-parameter family of acquisition functions for efficient global
optimization [0.0]
EIとPIを一体化したBO用取得関数の1パラメータファミリを提案します。
提案手法は数値的に安価で実装が容易で、並列化が容易であり、ベンチマークタスクではEIやGP-UCBよりも優れた性能を示す。
論文 参考訳（メタデータ） (2021-04-26T06:41:30Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳（メタデータ） (2021-03-30T19:45:18Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。