論文の概要: Incorporating Expert Prior in Bayesian Optimisation via Space Warping
- arxiv url: http://arxiv.org/abs/2003.12250v1
- Date: Fri, 27 Mar 2020 06:18:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-19 04:36:12.567702
- Title: Incorporating Expert Prior in Bayesian Optimisation via Space Warping
- Title（参考訳）: 宇宙ウォーピングによるベイズ最適化におけるエキスパート・プリエントの導入
- Authors: Anil Ramachandran, Sunil Gupta, Santu Rana, Cheng Li, Svetha Venkatesh
- Abstract要約: 大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
- 参考スコア（独自算出の注目度）: 54.412024556499254
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimisation is a well-known sample-efficient method for the
optimisation of expensive black-box functions. However when dealing with big
search spaces the algorithm goes through several low function value regions
before reaching the optimum of the function. Since the function evaluations are
expensive in terms of both money and time, it may be desirable to alleviate
this problem. One approach to subside this cold start phase is to use prior
knowledge that can accelerate the optimisation. In its standard form, Bayesian
optimisation assumes the likelihood of any point in the search space being the
optimum is equal. Therefore any prior knowledge that can provide information
about the optimum of the function would elevate the optimisation performance.
In this paper, we represent the prior knowledge about the function optimum
through a prior distribution. The prior distribution is then used to warp the
search space in such a way that space gets expanded around the high probability
region of function optimum and shrinks around low probability region of
optimum. We incorporate this prior directly in function model (Gaussian
process), by redefining the kernel matrix, which allows this method to work
with any acquisition function, i.e. acquisition agnostic approach. We show the
superiority of our method over standard Bayesian optimisation method through
optimisation of several benchmark functions and hyperparameter tuning of two
algorithms: Support Vector Machine (SVM) and Random forest.
- Abstract（参考訳）: ベイズ最適化は高価なブラックボックス関数を最適化するためのよく知られたサンプル効率の手法である。
しかし、大きな探索空間を扱う場合、アルゴリズムは関数の最適値に達する前にいくつかの低関数値領域を通過する。
機能評価は金銭的にも時間的にも高価であるため、この問題を緩和することが望ましい。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
その標準形式において、ベイズ最適化は最適である探索空間の任意の点の確率が等しいと仮定する。
したがって、関数の最適性に関する情報を提供する事前知識は、最適化性能を高める。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
事前分布は、探索空間を最適関数の高確率領域を中心に展開し、最適の低確率領域を縮小するように整えるために用いられる。
これを直接関数モデル(ガウシアン過程)に組み込んでカーネル行列を再定義し、この手法が任意の獲得関数、すなわち獲得非依存アプローチで動作するようにする。
本手法は,いくつかのベンチマーク関数の最適化と2つのアルゴリズムのハイパーパラメータチューニングにより,標準ベイズ最適化法よりも優れていることを示す。
関連論文リスト
- A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
推論と最適化は計算処理が可能であることを示す。
特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。
得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
論文 参考訳（メタデータ） (2024-04-26T14:47:40Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。
確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
論文 参考訳（メタデータ） (2022-09-10T18:10:15Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - Bayesian Optimization for Min Max Optimization [77.60508571062958]
そこで我々は,最適化すべき関数が事前に分かっていないような設定でMin Max Optimizationを実行するアルゴリズムを提案する。
我々は,改善を期待する2つの獲得機能とガウス過程の上部信頼境界を拡張した。
これらの取得機能は、ベンチマーク設定よりも高速に収束する、より良いソリューションを可能にすることを示す。
論文 参考訳（メタデータ） (2021-07-29T06:49:34Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Combinatorial Bayesian Optimization with Random Mapping Functions to
Convex Polytopes [43.19936635161588]
大規模空間でうまく動作するような空間におけるベイズ最適化法を提案する。
提案アルゴリズムは,既存手法と比較して良好な性能を示す。
論文 参考訳（メタデータ） (2020-11-26T02:22:41Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳（メタデータ） (2020-09-08T06:54:11Z) - Composition of kernel and acquisition functions for High Dimensional
Bayesian Optimization [0.1749935196721634]
目的関数の追加性を用いて、ベイズ最適化のカーネルと取得関数の両方をマッピングする。
このap-proachは確率的代理モデルの学習/更新をより効率的にする。
都市給水システムにおけるポンプの制御を実運用に適用するための結果が提示された。
論文 参考訳（メタデータ） (2020-03-09T15:45:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。