論文の概要: Bayesian Optimization with a Prior for the Optimum
- arxiv url: http://arxiv.org/abs/2006.14608v4
- Date: Mon, 19 Apr 2021 14:29:46 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 03:21:44.648878
- Title: Bayesian Optimization with a Prior for the Optimum
- Title(参考訳): 最適化のための事前付きベイズ最適化
- Authors: Artur Souza, Luigi Nardi, Leonardo B. Oliveira, Kunle Olukotun, Marius
Lindauer, Frank Hutter
- Abstract要約: BOPrO (Preside for the Optimum) を用いたベイズ最適化について紹介する。
BOPrOは、入力空間のどの部分が最高のパフォーマンスをもたらすかという事前の形式で、最適化プロセスに自分の知識を注入することを可能にする。
BOPrOは、一般的なベンチマークスイートの最先端メソッドよりも約6.67倍高速であることを示す。
- 参考スコア(独自算出の注目度): 41.41323474440455
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: While Bayesian Optimization (BO) is a very popular method for optimizing
expensive black-box functions, it fails to leverage the experience of domain
experts. This causes BO to waste function evaluations on bad design choices
(e.g., machine learning hyperparameters) that the expert already knows to work
poorly. To address this issue, we introduce Bayesian Optimization with a Prior
for the Optimum (BOPrO). BOPrO allows users to inject their knowledge into the
optimization process in the form of priors about which parts of the input space
will yield the best performance, rather than BO's standard priors over
functions, which are much less intuitive for users. BOPrO then combines these
priors with BO's standard probabilistic model to form a pseudo-posterior used
to select which points to evaluate next. We show that BOPrO is around 6.67x
faster than state-of-the-art methods on a common suite of benchmarks, and
achieves a new state-of-the-art performance on a real-world hardware design
application. We also show that BOPrO converges faster even if the priors for
the optimum are not entirely accurate and that it robustly recovers from
misleading priors.
- Abstract(参考訳): ベイズ最適化(BO)は高価なブラックボックス関数を最適化するための非常に一般的な手法であるが、ドメインエキスパートの経験を活用できない。
これによりboは、専門家がすでによく知っている悪い設計選択(機械学習のハイパーパラメータなど)に対する機能評価を無駄にしてしまう。
この問題に対処するため,Byesian Optimization with a Prior for the Optimum (BOPrO)を提案する。
BOPrOは、ユーザが最適化プロセスに知識を注入し、入力空間のどの部分が最高のパフォーマンスをもたらすかという、BOの関数に対する標準的な事前よりも先入観の形で表現することを可能にする。
BOPrOは、これらの先行をBOの標準確率モデルと組み合わせて、次に評価する点を選択するために使用される擬似姿勢を形成する。
BOPrOは、一般的なベンチマークスイートの最先端メソッドよりも約6.67倍高速であり、現実世界のハードウェア設計アプリケーション上で新しい最先端パフォーマンスを実現する。
また, BOPrOは, 最適前の値が完全に正確でない場合でもより高速に収束することを示す。
関連論文リスト
- Cost-aware Bayesian Optimization via the Pandora's Box Gittins Index [57.045952766988925]
我々は,コストを意識したベイズ最適化と,経済学の意思決定問題であるPandoraのBox問題との間に,従来未解決の接続関係を構築した。
我々の研究は、Gittinsインデックス理論からベイズ最適化への技術統合に向けた第一歩となる。
論文 参考訳(メタデータ) (2024-06-28T17:20:13Z) - Principled Preferential Bayesian Optimization [22.269732173306192]
優先ベイズ最適化(BO)の問題について検討する。
一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。
この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
論文 参考訳(メタデータ) (2024-02-08T02:57:47Z) - Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。
我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
論文 参考訳(メタデータ) (2023-11-24T18:27:26Z) - Pre-training helps Bayesian optimization too [49.28382118032923]
機能的事前設定のための代替的なプラクティスを模索する。
特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。
提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
論文 参考訳(メタデータ) (2022-07-07T04:42:54Z) - $\pi$BO: Augmenting Acquisition Functions with User Beliefs for Bayesian
Optimization [40.30019289383378]
最適位置に関する事前の信念を取り入れた,取得関数の一般化である$pi$BOを提案する。
従来のアプローチとは対照的に、$pi$BOは概念的にはシンプルで、既存のライブラリや多くの取得関数と簡単に統合できる。
また、一般的なディープラーニングタスクの最先端性能を$pi$BOで改善し、12.5$times$タイム・トゥ・クオリティ・スピードアップを実現した。
論文 参考訳(メタデータ) (2022-04-23T11:07:13Z) - Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。
本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。
物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
論文 参考訳(メタデータ) (2021-11-16T08:45:39Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳(メタデータ) (2021-03-30T19:45:18Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳(メタデータ) (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。