論文の概要: Pre-trained Gaussian Processes for Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2109.08215v6
• Date: Fri, 2 Aug 2024 20:13:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 20:01:27.689439
• Title: Pre-trained Gaussian Processes for Bayesian Optimization
• Title（参考訳）: ベイズ最適化のための事前学習されたガウス過程
• Authors: Zi Wang, George E. Dahl, Kevin Swersky, Chansoo Lee, Zachary Nado, Justin Gilmer, Jasper Snoek, Zoubin Ghahramani,
• Abstract要約: 本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
• 参考スコア（独自算出の注目度）: 24.730678780782647
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) has become a popular strategy for global optimization of expensive real-world functions. Contrary to a common expectation that BO is suited to optimizing black-box functions, it actually requires domain knowledge about those functions to deploy BO successfully. Such domain knowledge often manifests in Gaussian process (GP) priors that specify initial beliefs on functions. However, even with expert knowledge, it is non-trivial to quantitatively define a prior. This is especially true for hyperparameter tuning problems on complex machine learning models, where landscapes of tuning objectives are often difficult to comprehend. We seek an alternative practice for setting these functional priors. In particular, we consider the scenario where we have data from similar functions that allow us to pre-train a tighter distribution a priori. We detail what pre-training entails for GPs using a KL divergence based loss function, and propose a new pre-training based BO framework named HyperBO. Theoretically, we show bounded posterior predictions and near-zero regrets for HyperBO without assuming the "ground truth" GP prior is known. To verify our approach in realistic setups, we collect a large multi-task hyperparameter tuning dataset by training tens of thousands of configurations of near-state-of-the-art deep learning models on popular image and text datasets, as well as a protein sequence dataset. Our results show that on average, HyperBO is able to locate good hyperparameters at least 3 times more efficiently than the best competing methods on both our new tuning dataset and existing multi-task BO benchmarks.
• Abstract（参考訳）: ベイズ最適化(BO)は、高価な実世界の関数をグローバルに最適化するための一般的な戦略となっている。 BOがブラックボックス関数の最適化に適しているという一般的な期待とは対照的に、実際にBOを正常にデプロイするためには、それらの関数に関するドメイン知識が必要である。 このようなドメイン知識は、関数に対する初期信念を規定するガウス過程(GP)にしばしば現れる。 しかし、専門家の知識があっても、事前を定量的に定義するのは簡単ではない。 これは、複雑な機械学習モデルにおけるハイパーパラメータチューニングの問題に特に当てはまる。 我々はこれらの機能的前提を設定するための代替のプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 我々は,KL分散に基づく損失関数を用いて,GPの事前学習に必要なものについて詳述し,HyperBOと呼ばれる新しい事前学習ベースのBOフレームワークを提案する。 理論的には, GP前の「真理」を仮定せずに, 後続の予測とHyperBOのほぼゼロの後悔が認められた。 我々のアプローチを現実的なセットアップで検証するために、一般的な画像やテキストデータセット、およびタンパク質配列データセットに基づいて、最先端のディープラーニングモデルの何万もの構成をトレーニングすることで、大規模なマルチタスクハイパーパラメータチューニングデータセットを収集します。 以上の結果から,HyperBOは,新しいチューニングデータセットと既存のマルチタスクBOベンチマークの両方において,競合する最良の手法よりも,少なくとも3倍高い効率で優れたハイパーパラメータを見つけることができることがわかった。

関連論文リスト

• Approximation-Aware Bayesian Optimization [34.56666383247348]
  高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。 ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
  論文  参考訳（メタデータ） (2024-06-06T17:55:02Z)
• Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient Kernels [57.46832672991433]
  ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。 カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。 我々は,効率的な後部推論と関数推定のための予測伝搬予測最大化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-10-09T03:55:09Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
  目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。 本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。 提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-12T03:35:45Z)
• HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes [7.963551878308098]
  HyperBO+は階層型ガウス過程の事前学習手法である。 我々はHyperBO+が検索空間に一般化でき、競合するベースラインよりも後悔度が低いことを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:47:10Z)
• Prior-mean-assisted Bayesian optimization application on FRIB Front-End tunning [61.78406085010957]
  我々は、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。 本稿では、FRIBフロントエンドチューニングのためのBOの事前平均として、過去のデータに基づいてトレーニングされたニューラルネットワークモデルを利用する。
  論文  参考訳（メタデータ） (2022-11-11T18:34:15Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
  ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。 本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。 物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
  論文  参考訳（メタデータ） (2021-11-16T08:45:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。