論文の概要: Sample-Efficient Bayesian Optimization with Transfer Learning for Heterogeneous Search Spaces

• arxiv url: http://arxiv.org/abs/2409.05325v1
• Date: Mon, 9 Sep 2024 04:36:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-10 15:50:59.586653
• Title: Sample-Efficient Bayesian Optimization with Transfer Learning for Heterogeneous Search Spaces
• Title（参考訳）: 不均一な探索空間に対する移動学習を用いたサンプル効率のベイズ最適化
• Authors: Aryan Deshwal, Sait Cakmak, Yuhou Xia, David Eriksson,
• Abstract要約: 機能評価が極めて少ない環境では、BOを成功させるためには、過去の実験から情報を転送する必要がある。 これらの関連する実験は、全く同じチューナブルパラメータ(探索空間)を持っていないかもしれない。 これらの2つの手法は,いくつかのベンチマーク問題において良好に動作することを示す。
• 参考スコア（独自算出の注目度）: 12.513822304719602
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Bayesian optimization (BO) is a powerful approach to sample-efficient optimization of black-box functions. However, in settings with very few function evaluations, a successful application of BO may require transferring information from historical experiments. These related experiments may not have exactly the same tunable parameters (search spaces), motivating the need for BO with transfer learning for heterogeneous search spaces. In this paper, we propose two methods for this setting. The first approach leverages a Gaussian process (GP) model with a conditional kernel to transfer information between different search spaces. Our second approach treats the missing parameters as hyperparameters of the GP model that can be inferred jointly with the other GP hyperparameters or set to fixed values. We show that these two methods perform well on several benchmark problems.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス関数の標本効率最適化のための強力な手法である。 しかし、機能評価が極めて少ない環境では、BOを成功させるためには、過去の実験から情報を転送する必要があるかもしれない。 これらの関連する実験は、全く同じチューナブルパラメータ(探索空間)を持たず、異種探索空間の移動学習によるBOの必要性を動機付けている。 本稿では,この設定のための2つの方法を提案する。 最初のアプローチは、条件付きカーネルを持つガウス過程(GP)モデルを利用して、異なる検索空間間で情報を転送する。 第2のアプローチでは、欠落したパラメータをGPモデルのハイパーパラメータとして扱い、他のGPハイパーパラメータと共同で推論したり、固定値にセットしたりすることができる。 これらの2つの手法は,いくつかのベンチマーク問題において良好に動作することを示す。

関連論文リスト

• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Transfer Learning for Bayesian Optimization on Heterogeneous Search Spaces [7.963551878308098]
  ヘテロジニアスドメイン上でのモデル事前学習手法であるMPHDを紹介する。 MPHDはBOとシームレスに統合され、異種検索空間をまたいで知識を伝達することができる。
  論文  参考訳（メタデータ） (2023-09-28T17:01:43Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Preferential Batch Bayesian Optimization [16.141259199997005]
  優先バッチベイズ最適化(PBBO)は、潜在関数の最適性を見つけるための新しいフレームワークである。 本稿では,ベイズ最適化における従来の手法の一般化と拡張について述べる。
  論文  参考訳（メタデータ） (2020-03-25T14:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。