論文の概要: Beyond Lengthscales: No-regret Bayesian Optimisation With Unknown
Hyperparameters Of Any Type
- arxiv url: http://arxiv.org/abs/2402.01632v1
- Date: Fri, 2 Feb 2024 18:52:16 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 13:51:27.882821
- Title: Beyond Lengthscales: No-regret Bayesian Optimisation With Unknown
Hyperparameters Of Any Type
- Title（参考訳）: 長尺を超える:あらゆるタイプの未知のハイパーパラメータによるベイズ最適化
- Authors: Juliusz Ziomek, Masaki Adachi, Michael A. Osborne
- Abstract要約: HE-GP-UCBは、任意の形の未知のハイパーパラメーターの場合、非回帰特性を享受する最初のアルゴリズムである。
我々の証明アイデアは新しく、ベイズ最適化の他の変種にも容易に拡張できる。
- 参考スコア（独自算出の注目度）: 21.28080111271296
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian optimisation requires fitting a Gaussian process model, which in
turn requires specifying hyperparameters - most of the theoretical literature
assumes those hyperparameters are known. The commonly used maximum likelihood
estimator for hyperparameters of the Gaussian process is consistent only if the
data fills the space uniformly, which does not have to be the case in Bayesian
optimisation. Since no guarantees exist regarding the correctness of
hyperparameter estimation, and those hyperparameters can significantly affect
the Gaussian process fit, theoretical analysis of Bayesian optimisation with
unknown hyperparameters is very challenging. Previously proposed algorithms
with the no-regret property were only able to handle the special case of
unknown lengthscales, reproducing kernel Hilbert space norm and applied only to
the frequentist case. We propose a novel algorithm, HE-GP-UCB, which is the
first algorithm enjoying the no-regret property in the case of unknown
hyperparameters of arbitrary form, and which supports both Bayesian and
frequentist settings. Our proof idea is novel and can easily be extended to
other variants of Bayesian optimisation. We show this by extending our
algorithm to the adversarially robust optimisation setting under unknown
hyperparameters. Finally, we empirically evaluate our algorithm on a set of toy
problems and show that it can outperform the maximum likelihood estimator.
- Abstract（参考訳）: ベイズ最適化はガウスのプロセスモデルに適合する必要があり、これは代わりにハイパーパラメータの指定を必要とする。
ガウス過程のハイパーパラメーターに対する一般的に用いられる最大極大推定器は、データが空間を均一に満たす場合に限り一貫したものであり、ベイズ最適化ではそうはならない。
ハイパーパラメータ推定の正確性に関する保証はなく、これらのハイパーパラメータはガウス過程の適合性に大きな影響を与える可能性があるため、未知のハイパーパラメータによるベイズ最適化の理論解析は非常に難しい。
従来提案された非regret特性を持つアルゴリズムは、未知の長さスケールの特別なケースのみを扱うことができ、カーネルヒルベルト空間ノルムを再現し、頻繁なケースにのみ適用できた。
本稿では,任意の形状の未知のハイパーパラメータの場合の非回帰特性を初めて享受するアルゴリズムであるHE-GP-UCBを提案し,ベイズ的および頻繁な設定をサポートする。
我々の証明アイデアは新しく、ベイズ最適化の他の変種にも容易に拡張できる。
我々はアルゴリズムを未知のハイパーパラメータ下での可逆ロバストな最適化設定に拡張することでこれを示す。
最後に, 玩具問題に対して経験的にアルゴリズムを評価し, 最大確率推定値を上回ることができることを示した。
関連論文リスト
- Near-Optimal Algorithm for Non-Stationary Kernelized Bandits [6.379833644595456]
時変ベイズ最適化(英語版)とも呼ばれる非定常カーネル化バンドイット問題(KB)について検討する。
我々は,2乗指数およびマタン核を持つ非定常KBに対して,アルゴリズムに依存しない最初のリフレッシュローバウンドを示す。
本稿では,ランダムな置換による位相除去を再開する手法を提案する。
論文 参考訳（メタデータ） (2024-10-21T14:28:26Z) - Principled Preferential Bayesian Optimization [22.269732173306192]
優先ベイズ最適化(BO)の問題について検討する。
一対の候補解よりも優先的なフィードバックしか持たないブラックボックス関数を最適化することを目指している。
この問題を解決するために,効率的な計算手法を用いた楽観的アルゴリズムを開発した。
論文 参考訳（メタデータ） (2024-02-08T02:57:47Z) - Branch & Learn with Post-hoc Correction for Predict+Optimize with
Unknown Parameters in Constraints [5.762370982168012]
ポストホックレグレ(Post-hoc Regret)は、不満足な予測を修正するコストを考慮した損失関数である。
簡単な条件を満たす再帰アルゴリズムにより解ける任意の最適化問題に対して,ポストホックレギュレットを正確に計算する方法を示す。
論文 参考訳（メタデータ） (2023-03-12T16:23:58Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Regret Bounds for Expected Improvement Algorithms in Gaussian Process
Bandit Optimization [63.8557841188626]
期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。
本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。
我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
論文 参考訳（メタデータ） (2022-03-15T13:17:53Z) - Metalearning Linear Bandits by Prior Update [7.519872646378836]
完全なベイズ的アプローチは、問題のパラメータは既知の事前から生成されると仮定するが、実際にはそのような情報は欠落することが多い。
この問題は、ある部分的な情報を持つ意思決定設定において悪化し、不特定事前の使用は、探索の質が悪く、性能が劣る可能性がある。
この研究において、線形帯域幅とガウス事前の文脈において、事前推定が真の事前に十分近い限り、不特定事前を用いたアルゴリズムの性能は真の先行を用いたアルゴリズムのそれに近いことを証明した。
論文 参考訳（メタデータ） (2021-07-12T11:17:01Z) - Bayesian decision-making under misspecified priors with applications to
meta-learning [64.38020203019013]
トンプソンサンプリングやその他のシーケンシャルな意思決定アルゴリズムは、文脈的包帯における探索と探索のトレードオフに取り組むための一般的なアプローチである。
性能は不特定な事前条件で優雅に低下することを示す。
論文 参考訳（メタデータ） (2021-07-03T23:17:26Z) - Towards Feature-Based Performance Regression Using Trajectory Data [0.9281671380673306]
ブラックボックス最適化は非常に活発な研究領域であり、毎年多くの新しいアルゴリズムが開発されている。
アルゴリズムの多様性はメタプロブレム(メタプロブレム):どのアルゴリズムが与えられた問題を選択するか?
過去の研究では、探索ランドスケープ分析に基づくインスタンスごとのアルゴリズム選択が、このメタプロブレムに取り組むための効率的な手段であることが示されている。
論文 参考訳（メタデータ） (2021-02-10T10:19:13Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Time-varying Gaussian Process Bandit Optimization with Non-constant
Evaluation Time [93.6788993843846]
非定常評価時間を効果的に処理できる新しい時間変化ベイズ最適化アルゴリズムを提案する。
我々の限界は、評価時間列のパターンが問題の難易度に大きな影響を与えることを決定づける。
論文 参考訳（メタデータ） (2020-03-10T13:28:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。