論文の概要: Bayesian Optimization with Noise-Free Observations: Improved Regret
Bounds via Random Exploration
- arxiv url: http://arxiv.org/abs/2401.17037v1
- Date: Tue, 30 Jan 2024 14:16:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-31 14:57:13.524411
- Title: Bayesian Optimization with Noise-Free Observations: Improved Regret
Bounds via Random Exploration
- Title(参考訳): ノイズフリー観測によるベイズ最適化:ランダム探索によるレグレト境界の改善
- Authors: Hwanwoo Kim and Daniel Sanz-Alonso
- Abstract要約: 我々は,クエリポイントの補間距離がほぼ最適速度で減衰することを保証するために,ランダムな探索ステップに依存する分散データ近似に根ざした新しいアルゴリズムを導入する。
提案アルゴリズムは,従来のGP-UCBアルゴリズムの実装の容易さを維持し,arXiv:2002.05096の予測にほぼ一致する累積的後悔境界を満たす。
- 参考スコア(独自算出の注目度): 3.5262982427393186
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper studies Bayesian optimization with noise-free observations. We
introduce new algorithms rooted in scattered data approximation that rely on a
random exploration step to ensure that the fill-distance of query points decays
at a near-optimal rate. Our algorithms retain the ease of implementation of the
classical GP-UCB algorithm and satisfy cumulative regret bounds that nearly
match those conjectured in arXiv:2002.05096, hence solving a COLT open problem.
Furthermore, the new algorithms outperform GP-UCB and other popular Bayesian
optimization strategies in several examples.
- Abstract(参考訳): 本稿では,ノイズのない観測によるベイズ最適化について述べる。
我々は,クエリポイントの補間距離がほぼ最適速度で減衰することを保証するために,ランダムな探索ステップに依存する分散データ近似に根ざした新しいアルゴリズムを導入する。
提案アルゴリズムは,従来のGP-UCBアルゴリズムの実装の容易さを保ち,arXiv:2002.05096の予測にほぼ一致する累積的後悔境界を満たす。
さらに,GP-UCBなどのベイズ最適化手法をいくつかの例で比較した。
関連論文リスト
- Random Exploration in Bayesian Optimization: Order-Optimal Regret and
Computational Efficiency [18.17090625880964]
本研究では,分布から引き出されたランダムサンプルを用いて領域を探索する手法について検討する。
このランダム探索手法が最適誤差率を達成することを示す。
論文 参考訳(メタデータ) (2023-10-23T20:30:44Z) - Noise Stability Optimization for Flat Minima with Tight Rates [18.009376840944284]
一般化特性は学習アルゴリズムの設計と解析の中心的な側面である。
多くの先行研究において、良い一般化につながると考えられてきた概念は、平らなミニマである。
論文 参考訳(メタデータ) (2023-06-14T14:58:36Z) - Regret Bounds for Expected Improvement Algorithms in Gaussian Process
Bandit Optimization [63.8557841188626]
期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。
本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。
我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
論文 参考訳(メタデータ) (2022-03-15T13:17:53Z) - Accelerated SGD for Non-Strongly-Convex Least Squares [14.010916616909743]
非強凸設定における最小二乗回帰問題の近似を考察する。
本稿では,問題のノイズに依存して最適な予測誤差率を実現するための,最初の実用的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-03-03T14:39:33Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - No-Regret Algorithms for Private Gaussian Process Bandit Optimization [13.660643701487002]
プライバシー保護統計のレンズによるガウス過程(GP)帯域最適化の至るところでの問題点を考察する。
均一なカーネル近似器とランダムな摂動を組み合わせた差分プライベートGPバンディット最適化のためのソリューションを提案する。
我々のアルゴリズムは最適化手順を通して微分プライバシを保持し、予測のためのサンプルパスに明示的に依存しない。
論文 参考訳(メタデータ) (2021-02-24T18:52:24Z) - An Asymptotically Optimal Primal-Dual Incremental Algorithm for
Contextual Linear Bandits [129.1029690825929]
複数の次元に沿った最先端技術を改善する新しいアルゴリズムを提案する。
非文脈線形帯域の特別な場合において、学習地平線に対して最小限の最適性を確立する。
論文 参考訳(メタデータ) (2020-10-23T09:12:47Z) - Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search
Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。
理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文 参考訳(メタデータ) (2020-09-05T14:24:40Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳(メタデータ) (2020-06-11T17:43:19Z) - Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。
Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。
本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
論文 参考訳(メタデータ) (2020-05-10T19:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。