論文の概要: Two-step Lookahead Bayesian Optimization with Inequality Constraints
- arxiv url: http://arxiv.org/abs/2112.02833v1
- Date: Mon, 6 Dec 2021 07:40:54 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-07 14:29:07.805860
- Title: Two-step Lookahead Bayesian Optimization with Inequality Constraints
- Title（参考訳）: 不等式制約付き二段階ルックアヘッドベイズ最適化
- Authors: Yunxiang Zhang, Xiangyu Zhang, Peter I. Frazier
- Abstract要約: 本稿では,2段階の制約付きベイズ最適化獲得関数 (2-OPT-C) を提案する。
数値実験では、2-OPT-Cは従来の手法よりも2倍以上のクエリ効率が向上し、場合によっては10倍以上のクエリ効率が向上する。
- 参考スコア（独自算出の注目度）: 21.703234193908038
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advances in computationally efficient non-myopic Bayesian optimization
(BO) improve query efficiency over traditional myopic methods like expected
improvement while only modestly increasing computational cost. These advances
have been largely limited, however, to unconstrained optimization. For
constrained optimization, the few existing non-myopic BO methods require heavy
computation. For instance, one existing non-myopic constrained BO method [Lam
and Willcox, 2017] relies on computationally expensive unreliable brute-force
derivative-free optimization of a Monte Carlo rollout acquisition function.
Methods that use the reparameterization trick for more efficient
derivative-based optimization of non-myopic acquisition functions in the
unconstrained setting, like sample average approximation and infinitesimal
perturbation analysis, do not extend: constraints introduce discontinuities in
the sampled acquisition function surface that hinder its optimization.
Moreover, we argue here that being non-myopic is even more important in
constrained problems because fear of violating constraints pushes myopic
methods away from sampling the boundary between feasible and infeasible
regions, slowing the discovery of optimal solutions with tight constraints. In
this paper, we propose a computationally efficient two-step lookahead
constrained Bayesian optimization acquisition function (2-OPT-C) supporting
both sequential and batch settings. To enable fast acquisition function
optimization, we develop a novel likelihood-ratio-based unbiased estimator of
the gradient of the two-step optimal acquisition function that does not use the
reparameterization trick. In numerical experiments, 2-OPT-C typically improves
query efficiency by 2x or more over previous methods, and in some cases by 10x
or more.
- Abstract（参考訳）: 計算効率のよい非ミオピックベイズ最適化(BO)の最近の進歩は、期待される改善のような従来のミオピック手法よりもクエリ効率を向上し、計算コストはわずかに増加している。
しかし、これらの進歩は制約のない最適化に大きく制限されている。
制約付き最適化では、既存の非ミオピック bo 法は重い計算を必要とする。
例えば、既存の非神秘的制約付きBO法(Lam and Willcox, 2017)は、モンテカルロロールアウト獲得関数の計算コストのかかる非信頼なブルート力微分自由最適化に依存している。
サンプル平均近似や無限小摂動解析のような非制限条件下での非明視的獲得関数のより効率的な微分に基づく最適化に再パラメータ化手法を用いる手法は、拡張されない: 制約は、その最適化を妨げるサンプル取得関数曲面に不連続を導入する。
さらに,非ミオピックであることは,制約違反の恐れから,望ましくない領域と不可能な領域の境界を抽出し,厳密な制約を伴う最適解の発見を遅らせるため,制約付き問題においてさらに重要であると論じる。
本稿では,逐次およびバッチ設定をサポートする2段階制約付きベイズ最適化獲得関数(2-OPT-C)を提案する。
高速な取得関数最適化を実現するために,再パラメータ化トリックを使用しない2段階最適取得関数の勾配の確率比に基づく非バイアス推定器を開発した。
数値実験では、2-OPT-Cはクエリ効率を2倍以上改善し、場合によっては10倍以上改善する。
関連論文リスト
- Bayesian Optimization for Non-Convex Two-Stage Stochastic Optimization Problems [2.9016548477524156]
知識に基づく獲得関数を定式化し,第1段と第2段の変数を協調的に最適化する。
可変型間の寸法と長さの差が2段階アルゴリズムの非効率性をもたらすことを示す。
論文 参考訳（メタデータ） (2024-08-30T16:26:31Z) - BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
この研究はデータ駆動逆最適化(IO)に対処する。
目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
論文 参考訳（メタデータ） (2024-05-28T06:52:17Z) - Accelerated First-Order Optimization under Nonlinear Constraints [73.2273449996098]
我々は、制約付き最適化のための一階アルゴリズムと非滑らかなシステムの間で、新しい一階アルゴリズムのクラスを設計する。
これらのアルゴリズムの重要な性質は、制約がスパース変数の代わりに速度で表されることである。
論文 参考訳（メタデータ） (2023-02-01T08:50:48Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Reducing the Variance of Gaussian Process Hyperparameter Optimization
with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。
プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。
基本的に無視可能なコストで、同時に分散を低減することができる。
論文 参考訳（メタデータ） (2021-07-01T06:43:11Z) - An Efficient Batch Constrained Bayesian Optimization Approach for Analog
Circuit Synthesis via Multi-objective Acquisition Ensemble [11.64233949999656]
MACE(Multi-objective Acquisition Function Ensemble)を用いた並列化可能なベイズ最適化アルゴリズムを提案する。
提案アルゴリズムは,バッチサイズが15のときの非制約最適化問題に対する微分進化(DE)と比較して,シミュレーション全体の時間を最大74倍削減することができる。
制約付き最適化問題に対して,提案アルゴリズムは,バッチサイズが15の場合に,重み付き改善に基づくベイズ最適化(WEIBO)アプローチと比較して最大15倍の高速化を実現することができる。
論文 参考訳（メタデータ） (2021-06-28T13:21:28Z) - Ada-BKB: Scalable Gaussian Process Optimization on Continuous Domain by
Adaptive Discretization [21.859940486704264]
GPUCBのようなアルゴリズムは計算の複雑さを禁止している。
関数のノアアルゴリズムは、連続最適化の真の問題を裏付ける。
論文 参考訳（メタデータ） (2021-06-16T07:55:45Z) - Divide and Learn: A Divide and Conquer Approach for Predict+Optimize [50.03608569227359]
予測+最適化問題は、予測係数を使用する最適化プロブレムと、確率係数の機械学習を組み合わせる。
本稿では, 予測係数を1次線形関数として, 最適化問題の損失を直接表現する方法を示す。
本稿では,この制約を伴わずに最適化問題に対処し,最適化損失を用いてその係数を予測する新しい分割アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-12-04T00:26:56Z) - Using models to improve optimizers for variational quantum algorithms [1.7475326826331605]
変分量子アルゴリズムは、ノイズの多い中間スケール量子コンピュータの初期応用の第一候補である。
これらのアルゴリズムは、パラメータ化量子回路の機能を最小化する古典的な最適化外ループに依存している。
本稿では,2つの最適化手法を導入し,その性能を今日の一般的な手法と数値的に比較する。
論文 参考訳（メタデータ） (2020-05-22T05:23:23Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。