論文の概要: Random Exploration in Bayesian Optimization: Order-Optimal Regret and
Computational Efficiency
- arxiv url: http://arxiv.org/abs/2310.15351v2
- Date: Fri, 2 Feb 2024 15:28:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 19:28:04.571743
- Title: Random Exploration in Bayesian Optimization: Order-Optimal Regret and
Computational Efficiency
- Title(参考訳): ベイズ最適化におけるランダム探索:順序最適回帰と計算効率
- Authors: Sudeep Salgia, Sattar Vakili, Qing Zhao
- Abstract要約: 本研究では,分布から引き出されたランダムサンプルを用いて領域を探索する手法について検討する。
このランダム探索手法が最適誤差率を達成することを示す。
- 参考スコア(独自算出の注目度): 18.17090625880964
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We consider Bayesian optimization using Gaussian Process models, also
referred to as kernel-based bandit optimization. We study the methodology of
exploring the domain using random samples drawn from a distribution. We show
that this random exploration approach achieves the optimal error rates. Our
analysis is based on novel concentration bounds in an infinite dimensional
Hilbert space established in this work, which may be of independent interest.
We further develop an algorithm based on random exploration with domain
shrinking and establish its order-optimal regret guarantees under both
noise-free and noisy settings. In the noise-free setting, our analysis closes
the existing gap in regret performance and thereby resolves a COLT open
problem. The proposed algorithm also enjoys a computational advantage over
prevailing methods due to the random exploration that obviates the expensive
optimization of a non-convex acquisition function for choosing the query points
at each iteration.
- Abstract(参考訳): ガウス過程モデルを用いたベイズ最適化をカーネルベース帯域最適化と呼ぶ。
本研究では,分布から引き出されたランダムサンプルを用いて領域を探索する手法について検討する。
このランダム探索手法が最適誤差率を達成することを示す。
我々の解析は、この研究で確立された無限次元ヒルベルト空間における新しい濃度境界に基づいている。
さらに,領域縮小を伴うランダム探索に基づくアルゴリズムを開発し,ノイズのない環境と雑音環境の両方において,そのオーダー・オプティマイト保証を確立する。
ノイズフリー環境では,既存の残響性能のギャップを解消し,COLT開放問題を解消する。
提案アルゴリズムは,反復毎にクエリポイントを選択するために,非凸取得関数の高価な最適化を回避したランダム探索により,一般的な手法よりも計算上の優位性を持つ。
関連論文リスト
- Bayesian Optimization with Noise-Free Observations: Improved Regret
Bounds via Random Exploration [3.5262982427393186]
我々は,クエリポイントの補間距離がほぼ最適速度で減衰することを保証するために,ランダムな探索ステップに依存する分散データ近似に根ざした新しいアルゴリズムを導入する。
提案アルゴリズムは,従来のGP-UCBアルゴリズムの実装の容易さを維持し,arXiv:2002.05096の予測にほぼ一致する累積的後悔境界を満たす。
論文 参考訳(メタデータ) (2024-01-30T14:16:06Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳(メタデータ) (2021-04-19T17:22:11Z) - No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。
均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。
我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
論文 参考訳(メタデータ) (2021-02-24T18:52:24Z) - Sequential Subspace Search for Functional Bayesian Optimization
Incorporating Experimenter Intuition [63.011641517977644]
本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。
標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。
シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
論文 参考訳(メタデータ) (2020-09-08T06:54:11Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳(メタデータ) (2020-06-14T10:42:23Z) - Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。
本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。
ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
論文 参考訳(メタデータ) (2020-06-11T19:40:38Z) - Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。
我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
論文 参考訳(メタデータ) (2020-02-04T22:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。