論文の概要: Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces

• arxiv url: http://arxiv.org/abs/2309.16597v2
• Date: Tue, 13 Feb 2024 22:44:25 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-15 19:49:53.694087
• Title: Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces
• Title（参考訳）: 不均一探索空間上のベイズ最適化のための転送学習
• Authors: Zhou Fan, Xinran Han, Zi Wang
• Abstract要約: ヘテロジニアスドメイン上でのモデル事前学習手法であるMPHDを紹介する。 MPHDはBOとシームレスに統合され、異種検索空間をまたいで知識を伝達することができる。
• 参考スコア（独自算出の注目度）: 7.963551878308098
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) is a popular black-box function optimization method, which makes sequential decisions based on a Bayesian model, typically a Gaussian process (GP), of the function. To ensure the quality of the model, transfer learning approaches have been developed to automatically design GP priors by learning from observations on "training" functions. These training functions are typically required to have the same domain as the "test" function (black-box function to be optimized). In this paper, we introduce MPHD, a model pre-training method on heterogeneous domains, which uses a neural net mapping from domain-specific contexts to specifications of hierarchical GPs. MPHD can be seamlessly integrated with BO to transfer knowledge across heterogeneous search spaces. Our theoretical and empirical results demonstrate the validity of MPHD and its superior performance on challenging black-box function optimization tasks.
• Abstract（参考訳）: ベイズ最適化(英: Bayesian optimization, BO)は、一般的なブラックボックス関数最適化法であり、その関数のガウス過程(英語版) (GP) であるベイズモデルに基づいて逐次決定を行う。 モデルの品質を確保するため,「学習」機能に関する観察から学ぶことによって,GP事前設計を自動設計するトランスファーラーニング手法が開発された。 これらのトレーニング関数は通常、"テスト"関数と同じドメイン(最適化されるブラックボックス関数)を持つ必要がある。 本稿では、ドメイン固有のコンテキストから階層型GPの仕様へのニューラルネットマッピングを用いた、異種ドメインのモデル事前学習手法であるMPHDを紹介する。 MPHDはBOとシームレスに統合され、異種検索空間間で知識を伝達することができる。 理論および実験により、mphdの有効性と、ブラックボックス機能最適化課題における優れた性能を示す。

関連論文リスト

• Sample-Efficient Bayesian Optimization with Transfer Learning for Heterogeneous Search Spaces [12.513822304719602]
  機能評価が極めて少ない環境では、BOを成功させるためには、過去の実験から情報を転送する必要がある。 これらの関連する実験は、全く同じチューナブルパラメータ(探索空間)を持っていないかもしれない。 これらの2つの手法は,いくつかのベンチマーク問題において良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-09-09T04:36:06Z)
• Covariance-Adaptive Sequential Black-box Optimization for Diffusion Targeted Generation [60.41803046775034]
  ユーザのブラックボックス目標スコアのみを用いた拡散モデルを用いて,ユーザ優先のターゲット生成を行う方法を示す。 数値実験問題と目標誘導型3次元分子生成タスクの両方の実験により,より優れた目標値を得る上で,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2024-06-02T17:26:27Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes [0.0]
  空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
  論文  参考訳（メタデータ） (2022-03-02T23:55:14Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。