論文の概要: Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal

• arxiv url: http://arxiv.org/abs/2410.10384v3
• Date: Fri, 22 Nov 2024 23:40:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:17:03.644428
• Title: Bayesian Optimisation with Unknown Hyperparameters: Regret Bounds Logarithmically Closer to Optimal
• Title（参考訳）: 未知のハイパーパラメータによるベイズ最適化:レグレト境界は最適に対数的に接近する
• Authors: Juliusz Ziomek, Masaki Adachi, Michael A. Osborne,
• Abstract要約: 本稿では,Longth Scale Balancing (LB)について紹介する。 LBは、長いスケールを維持しながら、長いスケールの候補値を追加し、探索とエクスプロイトのバランスをとる。 LB はオラクルの後悔からわずか$log g(T) 離れている。
• 参考スコア（独自算出の注目度）: 18.93478528448966
• License:
• Abstract: Bayesian Optimization (BO) is widely used for optimising black-box functions but requires us to specify the length scale hyperparameter, which defines the smoothness of the functions the optimizer will consider. Most current BO algorithms choose this hyperparameter by maximizing the marginal likelihood of the observed data, albeit risking misspecification if the objective function is less smooth in regions we have not yet explored. The only prior solution addressing this problem with theoretical guarantees was A-GP-UCB, proposed by Berkenkamp et al. (2019). This algorithm progressively decreases the length scale, expanding the class of functions considered by the optimizer. However, A-GP-UCB lacks a stopping mechanism, leading to over-exploration and slow convergence. To overcome this, we introduce Length scale Balancing (LB) - a novel approach, aggregating multiple base surrogate models with varying length scales. LB intermittently adds smaller length scale candidate values while retaining longer scales, balancing exploration and exploitation. We formally derive a cumulative regret bound of LB and compare it with the regret of an oracle BO algorithm using the optimal length scale. Denoting the factor by which the regret bound of A-GP-UCB was away from oracle as $g(T)$, we show that LB is only $\log g(T)$ away from oracle regret. We also empirically evaluate our algorithm on synthetic and real-world benchmarks and show it outperforms A-GP-UCB, maximum likelihood estimation and MCMC.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス関数の最適化に広く用いられているが、最適化者が考慮すべき関数の滑らかさを定義する長尺ハイパーパラメータを指定する必要がある。 現在のBOアルゴリズムの多くは、観測されたデータの限界確率を最大化することで、このハイパーパラメータを選択するが、まだ探索されていない領域では、目的関数がよりスムーズでない場合は、誤特定のリスクを負う。 A-GP-UCBはBerkenkamp et al (2019)によって提唱された。 このアルゴリズムは、オプティマイザが考慮する関数のクラスを拡張して、長さスケールを徐々に減少させる。 しかし、A-GP-UCBは停止機構がなく、過剰探索と緩やかな収束をもたらす。 これを解決するために、Longth Scale Balancing (LB) という新しいアプローチを導入し、異なる長さスケールで複数のベースサロゲートモデルを集約する。 LBは間欠的に、長いスケールを維持しながら、探索とエクスプロイトのバランスをとりながら、より小さい長さスケールの候補値を追加します。 我々はLBの累積残差を公式に導出し、最適な長さ尺度を用いたオラクルBOアルゴリズムの残差と比較する。 A-GP-UCB の後悔境界を $g(T)$ とすると、LB は oracle regret から $\log g(T)$ だけ離れていることを示す。 また,A-GP-UCB,最大推定,MCMCよりも優れた性能を示した。

関連論文リスト

• The Overlap Gap Property limits limit swapping in QAOA [0.0]
  ここでは,qge 4$ の Max-$q$-XORSAT に対する QAOA の平均ケース値が最適性から外れていることを示す。 その結果,スピングラス上でのQAOAの性能は古典的アルゴリズムと同等であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-09T07:45:06Z)
• Nonconvex Stochastic Bregman Proximal Gradient Method for Nonconvex Composite Problems [9.202586157819693]
  非合成対象関数の勾配法は、典型的には微分可能部分のリプシッツ滑らかさに依存する。 非目的の非Lipschitz勾配を扱う近似モデルを提案する。 ステップ選択感度の観点から最適なロバスト性が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-26T08:54:46Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• Two-step Lookahead Bayesian Optimization with Inequality Constraints [21.703234193908038]
  本稿では,2段階の制約付きベイズ最適化獲得関数 (2-OPT-C) を提案する。 数値実験では、2-OPT-Cは従来の手法よりも2倍以上のクエリ効率が向上し、場合によっては10倍以上のクエリ効率が向上する。
  論文  参考訳（メタデータ） (2021-12-06T07:40:54Z)
• Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
  ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。 本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。 物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
  論文  参考訳（メタデータ） (2021-11-16T08:45:39Z)
• Misspecified Gaussian Process Bandit Optimization [59.30399661155574]
  カーネル化されたバンディットアルゴリズムは、この問題に対して強い経験的および理論的性能を示した。 本稿では、未知関数を$epsilon$-一様近似で近似できるエンフェミス特定カーネル化帯域設定を、ある再生カーネルヒルベルト空間(RKHS)において有界ノルムを持つ関数で導入する。 提案アルゴリズムは,不特定性に関する事前知識を伴わず,$epsilon$への最適依存を実現する。
  論文  参考訳（メタデータ） (2021-11-09T09:00:02Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• Balancing Rates and Variance via Adaptive Batch-Size for Stochastic Optimization Problems [120.21685755278509]
  本研究は,ステップサイズの減衰が正確な収束に必要であるという事実と,一定のステップサイズがエラーまでの時間でより速く学習するという事実のバランスをとることを目的とする。 ステップサイズのミニバッチを最初から修正するのではなく,パラメータを適応的に進化させることを提案する。
  論文  参考訳（メタデータ） (2020-07-02T16:02:02Z)
• UFO-BLO: Unbiased First-Order Bilevel Optimization [42.49533978193117]
  我々は,この収束を理論的に保証できる,新しいFOBLOに基づく外層勾配の非バイアス推定法を提案する。 この結果はOmniglotとMini-ImageNet,人気の数ショットメタラーニングベンチマークの実験結果によって裏付けられている。
  論文  参考訳（メタデータ） (2020-06-05T18:53:45Z)
• Near-linear Time Gaussian Process Optimization with Adaptive Batching and Resparsification [119.41129787351092]
  BBKBは非回帰GP最適化アルゴリズムで、ほぼ直線的に実行し、バッチで候補を選択する。 また,同じバウンダリを用いて,スパルスGP近似の更新コストを適応的に遅延させることで,ステップ毎の償却コストをほぼ一定に抑えることができることを示した。
  論文  参考訳（メタデータ） (2020-02-23T17:43:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。