論文の概要: Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian
Regret Bounds
- arxiv url: http://arxiv.org/abs/2311.03760v1
- Date: Tue, 7 Nov 2023 06:54:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-08 16:39:28.840695
- Title: Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian
Regret Bounds
- Title(参考訳): Tighter Bayesian Regret boundsを用いた後方サンプリングに基づくベイズ最適化
- Authors: Shion Takeno, Yu Inatsu, Masayuki Karasuyama, Ichiro Takeuchi
- Abstract要約: サンプルパス(PIMS)の最大値から改善の確率がベイズ累積後悔(BCR)の限界値より強くなることを示す。
また,GP-UCBとトンプソンサンプリングの実践的問題を緩和するPIMSを実証する。
- 参考スコア(独自算出の注目度): 24.855721727772284
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Among various acquisition functions (AFs) in Bayesian optimization (BO),
Gaussian process upper confidence bound (GP-UCB) and Thompson sampling (TS) are
well-known options with established theoretical properties regarding Bayesian
cumulative regret (BCR). Recently, it has been shown that a randomized variant
of GP-UCB achieves a tighter BCR bound compared with GP-UCB, which we call the
tighter BCR bound for brevity. Inspired by this study, this paper first shows
that TS achieves the tighter BCR bound. On the other hand, GP-UCB and TS often
practically suffer from manual hyperparameter tuning and over-exploration
issues, respectively. To overcome these difficulties, we propose yet another AF
called a probability of improvement from the maximum of a sample path (PIMS).
We show that PIMS achieves the tighter BCR bound and avoids the hyperparameter
tuning, unlike GP-UCB. Furthermore, we demonstrate a wide range of experiments,
focusing on the effectiveness of PIMS that mitigates the practical issues of
GP-UCB and TS.
- Abstract(参考訳): ベイズ最適化 (BO) における様々な獲得関数 (AF) のうち、ガウス過程上信頼境界 (GP-UCB) とトンプソンサンプリング (TS) はベイズ累積後悔 (BCR) に関する確立された理論的性質を持つよく知られた選択肢である。
近年,GP-UCBの無作為な変種はGP-UCBよりも厳密なBCRを達成できることが示されている。
本研究から着想を得た本論文は,まずtsがよりタイトなbcr結合を達成することを示す。
一方、gp-ucbとtsはそれぞれ手動のハイパーパラメータチューニングと過剰な爆発問題に悩まされることが多い。
これらの課題を克服するため、サンプルパス(PIMS)の最大値から改善の確率という別のAFを提案する。
GP-UCBとは異なり,PIMSはより厳密なBCR境界を実現し,ハイパーパラメータチューニングを回避する。
さらに,GP-UCBとTSの実践的問題を緩和するPIMSの有効性に着目し,幅広い実験を行った。
関連論文リスト
- Combinatorial Gaussian Process Bandits in Bayesian Settings: Theory and
Application for Energy-Efficient Navigation [6.466505075075075]
本研究では, GP-UCB, Bayes-GP-UCB GP-TSの3つのアルゴリズムに対して, ベイズ的設定を考察し, 新たなベイズ的後悔境界を与える。
我々は、オンラインエネルギー効率のナビゲーション問題を文脈的バンディットとして定式化し、合成および実世界の道路網に関する総合的な実験的研究を提供する。
論文 参考訳(メタデータ) (2023-12-20T00:31:43Z) - Regret Optimality of GP-UCB [12.323109084902228]
ガウス過程 上信頼境界 (GP-UCB) は、ノイズの多い観測でブラックボックス関数を最適化する最も一般的な方法の1つである。
GP-UCB の単純かつ累積的後悔の両面に新たな上限を確立する。
同じレベルの探索で、GP-UCBは単純かつ累積的後悔の両方において、同時に最適性を達成することができる。
論文 参考訳(メタデータ) (2023-12-03T13:20:08Z) - On the Sublinear Regret of GP-UCB [58.25014663727544]
ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。
私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
論文 参考訳(メタデータ) (2023-07-14T13:56:11Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Randomized Gaussian Process Upper Confidence Bound with Tighter Bayesian
Regret Bounds [9.89553853547974]
本研究はまず,RGP-UCBの後悔解析をガンマ分布を含むより広範な分布に一般化する。
本稿では,2パラメータ指数分布に基づく改良されたRGP-UCBを提案する。
IRGP-UCBの広汎な実験による有効性を示す。
論文 参考訳(メタデータ) (2023-02-03T02:48:48Z) - On Batch Normalisation for Approximate Bayesian Inference [102.94525205971873]
バッチ正規化は証拠の下限(ELBO)の最適性に影響しないことを示す。
また,モンテカルロバッチ正規化(MCBN)アルゴリズムについても検討し,MCDropoutと平行な近似推論手法を提案する。
論文 参考訳(メタデータ) (2020-12-24T12:40:11Z) - Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。
本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。
本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
論文 参考訳(メタデータ) (2020-06-18T14:24:05Z) - Randomised Gaussian Process Upper Confidence Bound for Bayesian
Optimisation [60.93091603232817]
改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。
これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。
これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
論文 参考訳(メタデータ) (2020-06-08T00:28:41Z) - Near-linear Time Gaussian Process Optimization with Adaptive Batching
and Resparsification [119.41129787351092]
BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。
また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
論文 参考訳(メタデータ) (2020-02-23T17:43:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。