論文の概要: No-Regret Constrained Bayesian Optimization of Noisy and Expensive
Hybrid Models using Differentiable Quantile Function Approximations
- arxiv url: http://arxiv.org/abs/2305.03824v2
- Date: Fri, 28 Jul 2023 03:38:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-31 15:41:19.785826
- Title: No-Regret Constrained Bayesian Optimization of Noisy and Expensive
Hybrid Models using Differentiable Quantile Function Approximations
- Title（参考訳）: 微分量子関数近似を用いた雑音・費用ハイブリッドモデルの非拘束ベイズ最適化
- Authors: Congwen Lu and Joel A. Paulson
- Abstract要約: Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。
CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the problem of efficient constrained global
optimization of hybrid models that are a composition of a known white-box
function and an expensive multi-output black-box function subject to noisy
observations, which often arises in real-world science and engineering
applications. We propose a novel method, Constrained Upper Quantile Bound
(CUQB), to solve such problems that directly exploits the composite structure
of the objective and constraint functions that we show leads substantially
improved sampling efficiency. CUQB is a conceptually simple, deterministic
approach that avoid constraint approximations used by previous methods.
Although the CUQB acquisition function is not available in closed form, we
propose a novel differentiable sample average approximation that enables it to
be efficiently maximized. We further derive bounds on the cumulative regret and
constraint violation under a non-parametric Bayesian representation of the
black-box function. Since these bounds depend sublinearly on the number of
iterations under some regularity assumptions, we establis bounds on the
convergence rate to the optimal solution of the original constrained problem.
In contrast to most existing methods, CUQB further incorporates a simple
infeasibility detection scheme, which we prove triggers in a finite number of
iterations when the original problem is infeasible (with high probability given
the Bayesian model). Numerical experiments on several test problems, including
environmental model calibration and real-time optimization of a reactor system,
show that CUQB significantly outperforms traditional Bayesian optimization in
both constrained and unconstrained cases. Furthermore, compared to other
state-of-the-art methods that exploit composite structure, CUQB achieves
competitive empirical performance while also providing substantially improved
theoretical guarantees.
- Abstract（参考訳）: 本稿では、既知のホワイトボックス関数と高コストなマルチアウトプットブラックボックス関数の合成であるハイブリッドモデルの効率的な制約付き大域的最適化の問題について検討する。
そこで本研究では, 目的関数と制約関数の複合構造を直接活用し, サンプリング効率を大幅に向上させる新しい手法として, 制約付き上限量子幅境界(cuqb)を提案する。
cuqbは概念的に単純で決定論的アプローチであり、以前の手法で使われる制約近似を避ける。
CUQB の取得関数はクローズドな形では利用できないが,より効率的に最大化できる新しい微分可能なサンプル平均近似を提案する。
さらに,ブラックボックス関数の非パラメトリックベイズ表現の下での累積的後悔と制約違反の境界を導出する。
これらの境界は、いくつかの正則性仮定の下での反復数に準線形に依存するので、元の制約された問題の最適解に対する収束率の上限を推定する。
既存のほとんどの方法とは対照的に、CUQBはさらに単純な不変性検出スキームを取り入れており、元の問題が実現不可能な場合(ベイズモデルにより高い確率で)有限個の反復でトリガを証明している。
環境モデル校正やリアクトルシステムのリアルタイム最適化を含むいくつかの試験問題に関する数値実験により、CUQBは制約のあるケースと制約のないケースの両方において従来のベイズ最適化よりも著しく優れていることが示された。
さらに、複合構造を利用する他の最先端手法と比較して、CUQBは競合的な経験的性能を実現し、理論的な保証も大幅に改善した。
関連論文リスト
- Low-Rank Extragradient Methods for Scalable Semidefinite Optimization [0.0]
この問題が低ランクの解を許容する高次元かつ高可算な設定に焦点をあてる。
これらの条件下では、よく知られた過次法が制約付き最適化問題の解に収束することを示す理論的結果がいくつか提示される。
論文 参考訳（メタデータ） (2024-02-14T10:48:00Z) - Principled Preferential Bayesian Optimization [22.269732173306192]
優先ベイズ最適化(BO)の問題について検討する。
一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。
この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-08T02:57:47Z) - Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - Multi-Agent Bayesian Optimization with Coupled Black-Box and Affine
Constraints [21.38692458445459]
ブラックボックス制約と既知のアフィン制約を結合した分散マルチエージェントベイズ最適化の問題について検討する。
単一エージェントの場合と同様の後悔/違反境界を実現するアルゴリズムが提案されている。
論文 参考訳（メタデータ） (2023-10-02T08:07:36Z) - An Optimization-based Deep Equilibrium Model for Hyperspectral Image
Deconvolution with Convergence Guarantees [71.57324258813675]
本稿では,ハイパースペクトル画像のデコンボリューション問題に対処する新しい手法を提案する。
新しい最適化問題を定式化し、学習可能な正規化器をニューラルネットワークの形で活用する。
導出した反復解法は、Deep Equilibriumフレームワーク内の不動点計算問題として表現される。
論文 参考訳（メタデータ） (2023-06-10T08:25:16Z) - Symmetric Tensor Networks for Generative Modeling and Constrained
Combinatorial Optimization [72.41480594026815]
ポートフォリオ最適化からロジスティクスに至るまで、制約付き最適化問題は業界に多い。
これらの問題の解決における主要な障害の1つは、有効な検索空間を制限する非自明なハード制約の存在である。
本研究では、Ax=bという形の任意の整数値等式制約をU(1)対称ネットワーク(TN)に直接エンコードし、それらの適用性を量子に着想を得た生成モデルとして活用する。
論文 参考訳（メタデータ） (2022-11-16T18:59:54Z) - Asymptotically Unbiased Instance-wise Regularized Partial AUC
Optimization: Theory and Algorithm [101.44676036551537]
One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。
既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。
本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
論文 参考訳（メタデータ） (2022-10-08T08:26:22Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Faster Algorithm and Sharper Analysis for Constrained Markov Decision
Process [56.55075925645864]
制約付き意思決定プロセス (CMDP) の問題点について検討し, エージェントは, 複数の制約を条件として, 期待される累積割引報酬を最大化することを目的とする。
新しいユーティリティ・デュアル凸法は、正規化ポリシー、双対正則化、ネステロフの勾配降下双対という3つの要素の新たな統合によって提案される。
これは、凸制約を受ける全ての複雑性最適化に対して、非凸CMDP問題が$mathcal O (1/epsilon)$の低い境界に達する最初の実演である。
論文 参考訳（メタデータ） (2021-10-20T02:57:21Z) - Bayesian Optimisation for Constrained Problems [0.0]
本稿では,制約を扱える知恵グラディエント獲得関数の新たな変種を提案する。
我々は、このアルゴリズムを、他の4つの最先端制約されたベイズ最適化アルゴリズムと比較し、その優れた性能を実証する。
論文 参考訳（メタデータ） (2021-05-27T15:43:09Z) - Conditional gradient methods for stochastically constrained convex
minimization [54.53786593679331]
構造凸最適化問題に対する条件勾配に基づく2つの新しい解法を提案する。
私たちのフレームワークの最も重要な特徴は、各イテレーションで制約のサブセットだけが処理されることです。
提案アルゴリズムは, 条件勾配のステップとともに, 分散の低減と平滑化に頼り, 厳密な収束保証を伴っている。
論文 参考訳（メタデータ） (2020-07-07T21:26:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。