論文の概要: Batch Bayesian Optimization via Expected Subspace Improvement
- arxiv url: http://arxiv.org/abs/2411.16206v1
- Date: Mon, 25 Nov 2024 09:14:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:24:59.858380
- Title: Batch Bayesian Optimization via Expected Subspace Improvement
- Title（参考訳）: 期待される部分空間改善によるバッチベイズ最適化
- Authors: Dawei Zhan, Zhaoxi Zeng, Shuoxiao Wei, Ping Wu,
- Abstract要約: 本稿では,ベイズ最適化をバッチ評価に拡張するためのシンプルで効率的な手法を提案する。
提案手法は,逐次ベイズ最適化アルゴリズムと比較した場合,ニア線形高速化を実現することができる。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: Extending Bayesian optimization to batch evaluation can enable the designer to make the most use of parallel computing technology. Most of current batch approaches use artificial functions to simulate the sequential Bayesian optimization algorithm's behavior to select a batch of points for parallel evaluation. However, as the batch size grows, the accumulated error introduced by these artificial functions increases rapidly, which dramatically decreases the optimization efficiency of the algorithm. In this work, we propose a simple and efficient approach to extend Bayesian optimization to batch evaluation. Different from existing batch approaches, the idea of the new approach is to draw a batch of subspaces of the original problem and select one acquisition point from each subspace. To achieve this, we propose the expected subspace improvement criterion to measure the amount of the improvement that a candidate point can achieve within a certain subspace. By optimizing these expected subspace improvement functions simultaneously, we can get a batch of query points for expensive evaluation. Numerical experiments show that our proposed approach can achieve near-linear speedup when compared with the sequential Bayesian optimization algorithm, and performs very competitively when compared with eight state-of-the-art batch algorithms. This work provides a simple yet efficient approach for batch Bayesian optimization. A Matlab implementation of our approach is available at https://github.com/zhandawei/Expected_Subspace_Improvement_Batch_Bayesian_Optimization
- Abstract（参考訳）: ベイズ最適化をバッチ評価に拡張することで、デザイナは並列コンピューティング技術を最大限に活用することができる。
現在のバッチ手法のほとんどは、並列評価のための点のバッチを選択するためにシーケンシャルベイズ最適化アルゴリズムの振る舞いをシミュレートするために人工関数を使用する。
しかし、バッチサイズが大きくなるにつれて、これらの人工関数によって導入された累積誤差が急速に増加し、アルゴリズムの最適化効率が劇的に低下する。
本研究では,ベイズ最適化をバッチ評価に拡張するための簡便かつ効率的な手法を提案する。
既存のバッチアプローチとは異なり、新しいアプローチの考え方は、元の問題のサブスペースのバッチを描画し、各サブスペースから1つの取得ポイントを選択することである。
そこで本研究では,ある部分空間内で,候補点が達成できる改善の量を測定するために,期待される部分空間改善基準を提案する。
これらの部分空間改善関数を同時に最適化することにより、高価な評価のためのクエリポイントのバッチを取得することができる。
数値実験により,提案手法は逐次ベイズ最適化アルゴリズムと比較してほぼ直線的な高速化を実現でき,また8つの最先端バッチアルゴリズムと比較して非常に競争力があることが示された。
この作業は、バッチベイズ最適化のための単純で効率的なアプローチを提供する。
Matlabのアプローチの実装はhttps://github.com/zhandawei/Expected_Subspace_Improvement_Batch_Bayesian_Optimizationで公開されている。
関連論文リスト
- High dimensional Bayesian Optimization via Condensing-Expansion Projection [1.6355174910200032]
高次元設定では、ベイズ最適化(BO)は高価で実現不可能である。
実効的な部分空間仮定に応答しない高次元BOに対して、新しいランダムなプロジェクションに基づくアプローチを導入する。
実験の結果、どちらのアルゴリズムも既存のランダムな埋め込みに基づくアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-08-09T04:47:38Z) - Efficient computation of the Knowledge Gradient for Bayesian
Optimization [1.0497128347190048]
One-shot Hybrid KGは、これまで提案されていたアイデアをいくつか組み合わせた新しいアプローチであり、計算が安価で、強力で効率的である。
すべての実験はBOTorchで実施され、同等または改善された性能で計算オーバーヘッドを劇的に削減した。
論文 参考訳（メタデータ） (2022-09-30T10:39:38Z) - Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。
確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
論文 参考訳（メタデータ） (2022-09-10T18:10:15Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - An Efficient Batch Constrained Bayesian Optimization Approach for Analog
Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。
提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。
制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
論文 参考訳（メタデータ） (2021-06-28T13:21:28Z) - Bayesian Optimistic Optimisation with Exponentially Decaying Regret [58.02542541410322]
現在の実用的なBOアルゴリズムは、$mathcalO(fraclogNsqrtN)$から$mathcalO(e-sqrtN)$まで、$N$は評価の数である。
本稿では,boと木に基づく楽観的楽観化の概念を絡み合うことにより,無音環境における後悔を改善できる可能性について検討する。
次数$mathcal O(N-sqrt)で指数的再帰を達成できる最初の実践的手法であるBOOアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-05-10T13:07:44Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search
Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。
理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文 参考訳（メタデータ） (2020-09-05T14:24:40Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。
Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。
本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
論文 参考訳（メタデータ） (2020-05-10T19:52:03Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。