論文の概要: Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian Regret Bounds

• arxiv url: http://arxiv.org/abs/2311.03760v3
• Date: Tue, 4 Jun 2024 12:56:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 14:07:02.695142
• Title: Posterior Sampling-Based Bayesian Optimization with Tighter Bayesian Regret Bounds
• Title（参考訳）: Tighter Bayesian Regret bounds を用いた後方サンプリングに基づくベイズ最適化
• Authors: Shion Takeno, Yu Inatsu, Masayuki Karasuyama, Ichiro Takeuchi,
• Abstract要約: ガウス過程上信頼境界(GP-UCB)とトンプソンサンプリング(TS)はベイズ累積後悔(BCR)に関する確立された理論的性質を持つよく知られた選択肢である。 GP-UCBとは異なり,PIMSはより厳密なBCR境界を実現し,ハイパーパラメータチューニングを回避する。 GP-UCB と TS の実践的問題を緩和する PIMS の有効性に着目し,幅広い実験を行った。
• 参考スコア（独自算出の注目度）: 22.752728853701083
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Among various acquisition functions (AFs) in Bayesian optimization (BO), Gaussian process upper confidence bound (GP-UCB) and Thompson sampling (TS) are well-known options with established theoretical properties regarding Bayesian cumulative regret (BCR). Recently, it has been shown that a randomized variant of GP-UCB achieves a tighter BCR bound compared with GP-UCB, which we call the tighter BCR bound for brevity. Inspired by this study, this paper first shows that TS achieves the tighter BCR bound. On the other hand, GP-UCB and TS often practically suffer from manual hyperparameter tuning and over-exploration issues, respectively. Therefore, we analyze yet another AF called a probability of improvement from the maximum of a sample path (PIMS). We show that PIMS achieves the tighter BCR bound and avoids the hyperparameter tuning, unlike GP-UCB. Furthermore, we demonstrate a wide range of experiments, focusing on the effectiveness of PIMS that mitigates the practical issues of GP-UCB and TS.
• Abstract（参考訳）: ベイズ最適化 (BO) における様々な獲得関数 (AF) のうち、ガウス過程上信頼境界 (GP-UCB) とトンプソンサンプリング (TS) はベイズ累積後悔 (BCR) に関する確立された理論的性質を持つよく知られた選択肢である。 近年,GP-UCBの無作為な変種はGP-UCBよりも厳密なBCRを達成できることが示されている。 この研究にインスパイアされたこの論文は、まずTSがより厳密なBCR境界を達成することを示す。 一方、GP-UCBとTSは、それぞれ手動のハイパーパラメータチューニングと過剰探索の問題に悩まされることが多い。 そこで本研究では,サンプルパス(PIMS)の最大値から改善の確率という別のAFを解析した。 GP-UCBとは異なり,PIMSはより厳密なBCR境界を実現し,ハイパーパラメータチューニングを回避する。 さらに,GP-UCB と TS の実践的問題を緩和する PIMS の有効性に着目し,幅広い実験を行った。

関連論文リスト

• Regret Analysis for Randomized Gaussian Process Upper Confidence Bound [9.967062483758632]
  本稿では,GP-UCBの改良型であるGP-UCBのランダム化変異を解析する。 両方の後悔解析において、IRGP-UCBは入力領域が有限であれば信頼パラメータを増大させることなく、サブ線形後悔上限を達成する。
  論文  参考訳（メタデータ） (2024-09-02T06:49:29Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Bayesian Analysis of Combinatorial Gaussian Process Bandits [6.594362025904486]
  GP-UCB, GP-BayesUCB, GP-TSの3つのアルゴリズムに対して, 新たな累積後悔境界を提供する。 我々は,オンラインエネルギー効率ナビゲーションの課題に対処するために,我々のフレームワークを使用している。
  論文  参考訳（メタデータ） (2023-12-20T00:31:43Z)
• Regret Optimality of GP-UCB [12.323109084902228]
  ガウス過程 上信頼境界 (GP-UCB) は、ノイズの多い観測でブラックボックス関数を最適化する最も一般的な方法の1つである。 GP-UCB の単純かつ累積的後悔の両面に新たな上限を確立する。 同じレベルの探索で、GP-UCBは単純かつ累積的後悔の両方において、同時に最適性を達成することができる。
  論文  参考訳（メタデータ） (2023-12-03T13:20:08Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• Randomized Gaussian Process Upper Confidence Bound with Tighter Bayesian Regret Bounds [9.89553853547974]
  本研究はまず,RGP-UCBの後悔解析をガンマ分布を含むより広範な分布に一般化する。 本稿では,2パラメータ指数分布に基づく改良されたRGP-UCBを提案する。 IRGP-UCBの広汎な実験による有効性を示す。
  論文  参考訳（メタデータ） (2023-02-03T02:48:48Z)
• Diversified Sampling for Batched Bayesian Optimization with Determinantal Point Processes [48.09817971375995]
  DPP-Batch Bayesian Optimization (DPP-BBO)を導入する。 DPP-Thompson Smpling (DPP-TS) を一般的なトンプソンサンプリング (TS) アルゴリズムの変種として定式化し、マルコフ・チェインモンテカルロ法をサンプルとして導入することによって、この枠組みを説明する。
  論文  参考訳（メタデータ） (2021-10-22T08:51:28Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)
• Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification [119.41129787351092]
  BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
  論文  参考訳（メタデータ） (2020-02-23T17:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。