論文の概要: Stopping Bayesian Optimization with Probabilistic Regret Bounds
- arxiv url: http://arxiv.org/abs/2402.16811v1
- Date: Mon, 26 Feb 2024 18:34:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-28 19:43:10.669214
- Title: Stopping Bayesian Optimization with Probabilistic Regret Bounds
- Title（参考訳）: 確率的後悔境界を用いたベイズ最適化の停止
- Authors: James T. Wilson
- Abstract要約: 事実上の停止規則を$(epsilon, delta)$-criterionに置き換えることを検討する。
本研究では,後部から引き出された限られた数を用いて,この条件を実際に検証する方法を示す。
- 参考スコア（独自算出の注目度）: 1.4141453107129403
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimization is a popular framework for efficiently finding
high-quality solutions to difficult problems based on limited prior
information. As a rule, these algorithms operate by iteratively choosing what
to try next until some predefined budget has been exhausted. We investigate
replacing this de facto stopping rule with an $(\epsilon, \delta)$-criterion:
stop when a solution has been found whose value is within $\epsilon > 0$ of the
optimum with probability at least $1 - \delta$ under the model. Given access to
the prior distribution of problems, we show how to verify this condition in
practice using a limited number of draws from the posterior. For Gaussian
process priors, we prove that Bayesian optimization with the proposed criterion
stops in finite time and returns a point that satisfies the $(\epsilon,
\delta)$-criterion under mild assumptions. These findings are accompanied by
extensive empirical results which demonstrate the strengths and weaknesses of
this approach.
- Abstract（参考訳）: ベイズ最適化は、限られた事前情報に基づいて問題に対する高品質な解を効率的に見つけるための一般的なフレームワークである。
ルールとして、これらのアルゴリズムは、事前に定義された予算が枯渇するまで、次に何をするかを反復的に選択する。
このデファクト停止規則を$(\epsilon, \delta)$-criterionに置き換えることについて検討する: 最適値が $\epsilon > 0$ の範囲内にある解が見つかったとき、そのモデルの下で少なくとも 1 - \delta$ の確率で停止する。
問題の事前分布へのアクセスを前提として, 後方からのドロー数を限定して, この条件を実際に検証する方法を示す。
ガウス過程の事前に対しては、提案する基準を満たしたベイズ最適化が有限時間で停止し、穏やかな仮定の下で $(\epsilon, \delta)$-criterion を満たす点を返すことを証明する。
これらの発見には、このアプローチの強みと弱みを示す広範な実験結果が伴う。
関連論文リスト
- Stochastic Nonsmooth Convex Optimization with Heavy-Tailed Noises:
High-Probability Bound, In-Expectation Rate and Initial Distance Adaptation [22.758674468435302]
重尾雑音系では、勾配と真の速度の差は有限の$p-thモーメントを持つと仮定される。
本稿では,重み付き雑音を用いた非平滑凸最適化の包括的解析を行う。
論文 参考訳（メタデータ） (2023-03-22T03:05:28Z) - Estimating Optimal Policy Value in General Linear Contextual Bandits [50.008542459050155]
多くのバンドイット問題において、政策によって達成可能な最大報酬は、前もって不明であることが多い。
我々は,最適政策が学習される前に,サブ線形データ構造における最適政策値を推定する問題を考察する。
V*$で問題依存上界を推定する,より実用的で効率的なアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-02-19T01:09:24Z) - Deterministic Nonsmooth Nonconvex Optimization [94.01526844386977]
次元自由な次元自由アルゴリズムを得るにはランダム化が必要であることを示す。
我々のアルゴリズムは、ReLUネットワークを最適化する最初の決定論的次元自由アルゴリズムを得る。
論文 参考訳（メタデータ） (2023-02-16T13:57:19Z) - A Near-Optimal Algorithm for Univariate Zeroth-Order Budget Convex
Optimization [4.608510640547952]
我々は、Dy Searchのほぼ最適最適化誤差を保証する。
誤差境界における大域リプシッツ定数への古典的依存は、予算の粒度のアーティファクトであることを示す。
論文 参考訳（メタデータ） (2022-08-13T19:57:04Z) - Best Policy Identification in Linear MDPs [70.57916977441262]
縮退した線形マルコフ+デルタ決定における最適同定問題について, 生成モデルに基づく固定信頼度設定における検討を行った。
複雑な非最適化プログラムの解としての下位境界は、そのようなアルゴリズムを考案する出発点として用いられる。
論文 参考訳（メタデータ） (2022-08-11T04:12:50Z) - Navigating to the Best Policy in Markov Decision Processes [68.8204255655161]
マルコフ決定過程における純粋探索問題について検討する。
エージェントはアクションを逐次選択し、結果のシステム軌道から可能な限り早くベストを目標とする。
論文 参考訳（メタデータ） (2021-06-05T09:16:28Z) - Second-Order Information in Non-Convex Stochastic Optimization: Power
and Limitations [54.42518331209581]
私たちは発見するアルゴリズムを見つけます。
epsilon$-approximate stationary point ($|nabla F(x)|le epsilon$) using
$(epsilon,gamma)$surimateランダムランダムポイント。
ここでの私たちの下限は、ノイズのないケースでも新規です。
論文 参考訳（メタデータ） (2020-06-24T04:41:43Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - A New Randomized Primal-Dual Algorithm for Convex Optimization with
Optimal Last Iterate Rates [16.54912614895861]
我々は,非滑らかな制約付き凸最適化問題のクラスを解くために,新しいランダム化ブロック座標原始双対アルゴリズムを開発した。
我々は,一般凸性と強い凸性という2つのケースにおいて,アルゴリズムが最適収束率を達成することを証明した。
その結果,提案手法は異なる実験における性能向上に寄与していることがわかった。
論文 参考訳（メタデータ） (2020-03-03T03:59:26Z) - Optimal $\delta$-Correct Best-Arm Selection for Heavy-Tailed
Distributions [2.2940141855172036]
我々は、$delta$-correctアルゴリズムを用いて、最大平均値を持つものを識別する問題を考察する。
$delta$-correctアルゴリズムの下位境界はよく知られている。
我々は,下界の$delta$-correctアルゴリズムを提案し,$delta$を0に還元する。
論文 参考訳（メタデータ） (2019-08-24T05:31:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。