論文の概要: Regret Optimality of GP-UCB

• arxiv url: http://arxiv.org/abs/2312.01386v1
• Date: Sun, 3 Dec 2023 13:20:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-05 17:31:11.855197
• Title: Regret Optimality of GP-UCB
• Title（参考訳）: GP-UCBの回帰最適性
• Authors: Wenjia Wang and Xiaowei Zhang and Lu Zou
• Abstract要約: ガウス過程 上信頼境界 (GP-UCB) は、ノイズの多い観測でブラックボックス関数を最適化する最も一般的な方法の1つである。 GP-UCB の単純かつ累積的後悔の両面に新たな上限を確立する。 同じレベルの探索で、GP-UCBは単純かつ累積的後悔の両方において、同時に最適性を達成することができる。
• 参考スコア（独自算出の注目度）: 12.323109084902228
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Gaussian Process Upper Confidence Bound (GP-UCB) is one of the most popular methods for optimizing black-box functions with noisy observations, due to its simple structure and superior performance. Its empirical successes lead to a natural, yet unresolved question: Is GP-UCB regret optimal? In this paper, we offer the first generally affirmative answer to this important open question in the Bayesian optimization literature. We establish new upper bounds on both the simple and cumulative regret of GP-UCB when the objective function to optimize admits certain smoothness property. These upper bounds match the known minimax lower bounds (up to logarithmic factors independent of the feasible region's dimensionality) for optimizing functions with the same smoothness. Intriguingly, our findings indicate that, with the same level of exploration, GP-UCB can simultaneously achieve optimality in both simple and cumulative regret. The crux of our analysis hinges on a refined uniform error bound for online estimation of functions in reproducing kernel Hilbert spaces. This error bound, which we derive from empirical process theory, is of independent interest, and its potential applications may reach beyond the scope of this study.
• Abstract（参考訳）: gaussian process upper confidence bound (gp-ucb) は、単純な構造と優れた性能のため、ノイズ観測を伴うブラックボックス関数を最適化する最も一般的な方法の1つである。 その実証的な成功は自然だが未解決の疑問をもたらす:gp-ucbは最適か? 本稿では,ベイズ最適化の文献において,この重要な開問題に対する肯定的な最初の回答を提供する。 最適化対象関数がある種の滑らかさ特性を許容するときに、gp-ucbの単純かつ累積的な後悔の両方に新たな上限を設定する。 これらの上界は、同じ滑らかな関数を最適化するために既知のミニマックス下界(実現可能領域の次元に依存しない対数因子まで)に一致する。 興味深いことに、GP-UCBは、同じレベルの探索で、単純かつ累積的後悔の両方において、同時に最適性を達成できることが示唆された。 解析の要点は、再現されたカーネルヒルベルト空間における関数のオンライン推定のための洗練された一様誤差に基づく。 この誤差境界は経験的プロセス理論から導かれるものであり、その潜在的な応用は研究の範囲を超えている可能性がある。

関連論文リスト

• Data-driven optimal stopping: A pure exploration analysis [1.0742675209112622]
  最小限の最適性は、単純な後悔に対する下界を一致させて上界結果を完成させることによって検証される。 本研究は, 具体的な探査・探査戦略について, 簡単な後悔から累積後悔への移動について検討した。
  論文  参考訳（メタデータ） (2023-12-10T13:16:01Z)
• On the Sublinear Regret of GP-UCB [58.25014663727544]
  ガウス過程上信頼境界 (GP-UCB) アルゴリズムは, ほぼ最適の後悔率を有することを示す。 私たちの改善は、基盤となるカーネルの滑らかさに比例してカーネルリッジ推定を正規化するという、重要な技術的貢献に依存しています。
  論文  参考訳（メタデータ） (2023-07-14T13:56:11Z)
• No-Regret Constrained Bayesian Optimization of Noisy and Expensive Hybrid Models using Differentiable Quantile Function Approximations [0.0]
  Constrained Upper Quantile Bound (CUQB) は、制約近似を避けるための概念的に単純で決定論的アプローチである。 CUQBは制約のある場合と制約のない場合の両方において従来のベイズ最適化よりも著しく優れることを示す。
  論文  参考訳（メタデータ） (2023-05-05T19:57:36Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Randomized Gaussian Process Upper Confidence Bound with Tighter Bayesian Regret Bounds [9.89553853547974]
  本研究はまず,RGP-UCBの後悔解析をガンマ分布を含むより広範な分布に一般化する。 本稿では,2パラメータ指数分布に基づく改良されたRGP-UCBを提案する。 IRGP-UCBの広汎な実験による有効性を示す。
  論文  参考訳（メタデータ） (2023-02-03T02:48:48Z)
• Asymptotically Unbiased Instance-wise Regularized Partial AUC Optimization: Theory and Algorithm [101.44676036551537]
  One-way partial AUC (OPAUC) と Two-way partial AUC (TPAUC) はバイナリ分類器の平均性能を測定する。 既存の手法のほとんどはPAUCをほぼ最適化するしかなく、制御不能なバイアスにつながる。 本稿では,分散ロバスト最適化AUCによるPAUC問題の簡易化について述べる。
  論文  参考訳（メタデータ） (2022-10-08T08:26:22Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Optimal Order Simple Regret for Gaussian Process Bandits [6.84224661918159]
  純粋な探索アルゴリズムは既存の境界よりもかなり厳密であることを示す。 この後悔は、カーネル上の低い境界が知られている場合に、対数的に最適であることを示す。
  論文  参考訳（メタデータ） (2021-08-20T16:49:32Z)
• Near-Optimal High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。 クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。