論文の概要: HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes

• arxiv url: http://arxiv.org/abs/2212.10538v1
• Date: Tue, 20 Dec 2022 18:47:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 14:29:34.795125
• Title: HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes
• Title（参考訳）: HyperBO+:階層ガウス過程によるベイズ最適化の事前学習
• Authors: Zhou Fan, Xinran Han, Zi Wang
• Abstract要約: HyperBO+は階層型ガウス過程の事前学習手法である。 我々はHyperBO+が検索空間に一般化でき、競合するベースラインよりも後悔度が低いことを示す。
• 参考スコア（独自算出の注目度）: 31.486781037909097
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO), while proved highly effective for many black-box function optimization tasks, requires practitioners to carefully select priors that well model their functions of interest. Rather than specifying by hand, researchers have investigated transfer learning based methods to automatically learn the priors, e.g. multi-task BO (Swersky et al., 2013), few-shot BO (Wistuba and Grabocka, 2021) and HyperBO (Wang et al., 2022). However, those prior learning methods typically assume that the input domains are the same for all tasks, weakening their ability to use observations on functions with different domains or generalize the learned priors to BO on different search spaces. In this work, we present HyperBO+: a pre-training approach for hierarchical Gaussian processes that enables the same prior to work universally for Bayesian optimization on functions with different domains. We propose a two-step pre-training method and analyze its appealing asymptotic properties and benefits to BO both theoretically and empirically. On real-world hyperparameter tuning tasks that involve multiple search spaces, we demonstrate that HyperBO+ is able to generalize to unseen search spaces and achieves lower regrets than competitive baselines.
• Abstract（参考訳）: ベイズ最適化(BO)は多くのブラックボックス関数最適化タスクに非常に効果的であることが証明されたが、実践者は興味のある機能をうまくモデル化する事前を慎重に選択する必要がある。 手動で指定するのではなく、複数タスクBO(Swersky et al., 2013)、少数ショットBO(Wistuba and Grabocka, 2021)、HyperBO(Wang et al., 2022)などの先行学習を自動的に学習するトランスファーラーニングベースの手法を研究している。 しかし、これらの先行学習手法は、通常、入力ドメインが全てのタスクで同じであると仮定し、異なるドメインを持つ関数の観測を弱めたり、異なる検索空間上でBOに学習先行を一般化したりする。 本研究では,階層型ガウス過程に対する事前学習手法であるHyperBO+を提案する。 そこで本研究では,2段階事前学習法を提案し,その漸近的特性とboの利点を理論的および経験的に分析する。 複数の探索空間を含む実世界のハイパーパラメータチューニングタスクにおいて,HyperBO+は未知の探索空間に一般化でき,競合するベースラインよりも後悔度が低いことを示す。

関連論文リスト

• Reinforced In-Context Black-Box Optimization [64.25546325063272]
  RIBBOは、オフラインデータからエンドツーエンドでBBOアルゴリズムを強化学習する手法である。 RIBBOは、複数の動作アルゴリズムとタスクによって生成される最適化履歴を学習するために、表現的なシーケンスモデルを使用している。 提案手法の中心となるのは,テキストレグレット・ツー・ゴートークンによる最適化履歴の増大である。
  論文  参考訳（メタデータ） (2024-02-27T11:32:14Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces [7.963551878308098]
  ヘテロジニアスドメイン上でのモデル事前学習手法であるMPHDを紹介する。 MPHDはBOとシームレスに統合され、異種検索空間をまたいで知識を伝達することができる。
  論文  参考訳（メタデータ） (2023-09-28T17:01:43Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Preferential Batch Bayesian Optimization [16.141259199997005]
  優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。 本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
  論文  参考訳（メタデータ） (2020-03-25T14:59:15Z)
• Stepwise Model Selection for Sequence Prediction via Deep Kernel Learning [100.83444258562263]
  本稿では,モデル選択の課題を解決するために,新しいベイズ最適化(BO)アルゴリズムを提案する。 結果として得られる複数のブラックボックス関数の最適化問題を協調的かつ効率的に解くために,ブラックボックス関数間の潜在的な相関を利用する。 我々は、シーケンス予測のための段階的モデル選択(SMS)の問題を初めて定式化し、この目的のために効率的な共同学習アルゴリズムを設計し、実証する。
  論文  参考訳（メタデータ） (2020-01-12T09:42:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。