論文の概要: Pre-training helps Bayesian optimization too

• arxiv url: http://arxiv.org/abs/2207.03084v1
• Date: Thu, 7 Jul 2022 04:42:54 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-09 02:45:34.260906
• Title: Pre-training helps Bayesian optimization too
• Title（参考訳）: ベイジアン最適化のための事前トレーニング
• Authors: Zi Wang, George E. Dahl, Kevin Swersky, Chansoo Lee, Zelda Mariet, Zachary Nado, Justin Gilmer, Jasper Snoek, Zoubin Ghahramani
• Abstract要約: 機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
• 参考スコア（独自算出の注目度）: 49.28382118032923
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) has become a popular strategy for global optimization of many expensive real-world functions. Contrary to a common belief that BO is suited to optimizing black-box functions, it actually requires domain knowledge on characteristics of those functions to deploy BO successfully. Such domain knowledge often manifests in Gaussian process priors that specify initial beliefs on functions. However, even with expert knowledge, it is not an easy task to select a prior. This is especially true for hyperparameter tuning problems on complex machine learning models, where landscapes of tuning objectives are often difficult to comprehend. We seek an alternative practice for setting these functional priors. In particular, we consider the scenario where we have data from similar functions that allow us to pre-train a tighter distribution a priori. To verify our approach in realistic model training setups, we collected a large multi-task hyperparameter tuning dataset by training tens of thousands of configurations of near-state-of-the-art models on popular image and text datasets, as well as a protein sequence dataset. Our results show that on average, our method is able to locate good hyperparameters at least 3 times more efficiently than the best competing methods.
• Abstract（参考訳）: ベイズ最適化(BO)は多くの高価な実世界の関数をグローバルに最適化するための一般的な戦略となっている。 BOがブラックボックス関数の最適化に適しているという一般的な信念とは対照的に、BOのデプロイを成功させるためには、実際にはそれらの関数の特徴に関するドメイン知識が必要である。 このようなドメイン知識は、関数に対する初期信念を規定するガウス過程にしばしば現れる。 しかし、専門家の知識があっても、事前に選択するのは簡単ではない。 これは、複雑な機械学習モデルのハイパーパラメータチューニング問題に特に当てはまり、チューニング対象のランドスケープを理解するのが難しい場合が多い。 これらの機能的前提を設定するための代替のプラクティスを模索する。 特に、より厳密な分布を事前訓練できるように、類似した関数のデータを持つシナリオについて検討する。 現実的なモデルトレーニング設定における我々のアプローチを検証するために、人気画像やテキストデータセット、およびタンパク質配列データセットに基づいて、数万の最先端モデルの構成をトレーニングすることで、大規模なマルチタスクハイパーパラメータチューニングデータセットを収集しました。 以上の結果から,提案手法は競合する手法の少なくとも3倍の効率で優れたハイパーパラメータを見つけることができることがわかった。

関連論文リスト

• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces [7.963551878308098]
  ヘテロジニアスドメイン上でのモデル事前学習手法であるMPHDを紹介する。 MPHDはBOとシームレスに統合され、異種検索空間をまたいで知識を伝達することができる。
  論文  参考訳（メタデータ） (2023-09-28T17:01:43Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Agent-based Collaborative Random Search for Hyper-parameter Tuning and Global Function Optimization [0.0]
  本稿では,機械学習モデルにおける任意のハイパーパラメータの任意の集合に対する近似値を求めるためのエージェントベース協調手法を提案する。 提案モデルの動作,特に設計パラメータの変化に対して,機械学習およびグローバル関数最適化アプリケーションの両方で検討する。
  論文  参考訳（メタデータ） (2023-03-03T21:10:17Z)
• HyperBO+: Pre-training a universal prior for Bayesian optimization with hierarchical Gaussian processes [7.963551878308098]
  HyperBO+は階層型ガウス過程の事前学習手法である。 我々はHyperBO+が検索空間に一般化でき、競合するベースラインよりも後悔度が低いことを示す。
  論文  参考訳（メタデータ） (2022-12-20T18:47:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Consolidated learning -- a domain-specific model-free optimization strategy with examples for XGBoost and MIMIC-IV [4.370097023410272]
  本稿では,統合学習と呼ばれるチューニング問題の新たな定式化を提案する。 このような設定では、単一のタスクをチューニングするよりも、全体の最適化時間に関心があります。 我々は,XGBoostアルゴリズムの実証研究とMIMIC-IV医療データベースから抽出した予測タスクの収集を通じて,このアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-01-27T21:38:53Z)
• Pre-trained Gaussian Processes for Bayesian Optimization [24.730678780782647]
  本稿では,HyperBO という事前学習型 BO フレームワークを提案する。 GPが既知の「地中真実」を仮定することなく, 後続の予測と, ほぼゼロの後悔をHyperBOに示す。
  論文  参考訳（メタデータ） (2021-09-16T20:46:26Z)
• Conservative Objective Models for Effective Offline Model-Based Optimization [78.19085445065845]
  計算設計の問題は、合成生物学からコンピュータアーキテクチャまで、様々な場面で発生している。 本研究では,分布外入力に対する接地的目標の実際の値を低くする目的関数のモデルを学習する手法を提案する。 COMは、様々なMBO問題に対して、既存のメソッドの実装と性能の面では単純である。
  論文  参考訳（メタデータ） (2021-07-14T17:55:28Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。