論文の概要: Enhancing High-dimensional Bayesian Optimization by Optimizing the Acquisition Function Maximizer Initialization

• arxiv url: http://arxiv.org/abs/2302.08298v1
• Date: Thu, 16 Feb 2023 13:56:32 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-17 13:50:24.215472
• Title: Enhancing High-dimensional Bayesian Optimization by Optimizing the Acquisition Function Maximizer Initialization
• Title（参考訳）: 獲得関数最大化の最適化によるベイズ最適化の高次元化
• Authors: Jiayu Zhao, Renyu Yang, Shenghao Qiu, Zheng Wang
• Abstract要約: ベイズ最適化(BO)はブラックボックス関数の最適化に広く用いられている。 従来のアプローチでは、ランダムに生成されたサンプルを使用して、取得関数の最大化を初期化する。 提案手法は単純ではあるが,標準BOを著しく向上させ,ほとんどのテストケースにおいて最先端の高次元BO技術よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 9.181636730525115
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is widely used to optimize black-box functions. It works by first building a surrogate for the objective and quantifying the uncertainty in that surrogate. It then decides where to sample by maximizing an acquisition function defined by the surrogate model. Prior approaches typically use randomly generated raw samples to initialize the acquisition function maximizer. However, this strategy is ill-suited for high-dimensional BO. Given the large regions of high posterior uncertainty in high dimensions, a randomly initialized acquisition function maximizer is likely to focus on areas with high posterior uncertainty, leading to overly exploring areas that offer little gain. This paper provides the first comprehensive empirical study to reveal the importance of the initialization phase of acquisition function maximization. It proposes a better initialization approach by employing multiple heuristic optimizers to leverage the knowledge of already evaluated samples to generate initial points to be explored by an acquisition function maximizer. We evaluate our approach on widely used synthetic test functions and real-world applications. Experimental results show that our techniques, while simple, can significantly enhance the standard BO and outperforms state-of-the-art high-dimensional BO techniques by a large margin in most test cases.
• Abstract（参考訳）: ベイズ最適化(BO)はブラックボックス関数の最適化に広く用いられている。 まず目的のためにサロゲートを構築し、そのサロゲートの不確かさを定量化する。 次に、サロゲートモデルで定義される取得関数を最大化することで、サンプルの場所を決定する。 以前のアプローチでは、通常ランダムに生成された生サンプルを使用して獲得関数の最大化を初期化する。 しかし、この戦略は高次元boには不向きである。 高次元の後方不確実性の大きい領域を考えると、ランダムに初期化された取得関数の最大化は、高い後方不確実性を持つ領域に焦点をあてる可能性が高い。 本稿では,獲得関数最大化の初期化フェーズの重要性を明らかにするため,最初の包括的実証研究を行う。 複数のヒューリスティックオプティマイザを用いて、既に評価済みサンプルの知識を活用して、取得関数最大化器によって探索される初期点を生成することにより、より優れた初期化アプローチを提案する。 我々は,広く使われている合成テスト関数と実世界のアプリケーションに対するアプローチを評価する。 実験結果から,本手法は単純ではあるが,標準BOを著しく向上させ,ほとんどのテストケースにおいて最先端の高次元BO技術よりも優れた性能を発揮することが示された。

関連論文リスト

• FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch [21.41322548859776]
  本稿では、FunBOを用いて、コンピュータコードで書かれた新しい取得関数を学習する方法を示す。 本稿では,FunBOが関数のトレーニング分布の内外をよく一般化するAFを特定する方法を示す。
  論文  参考訳（メタデータ） (2024-06-07T10:49:59Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization [29.178417789839102]
  離散的(そして潜在的に連続的な)設計パラメータのブラックボックス関数を最適化することは、科学や工学の応用においてユビキタスな問題である。 本稿では,確率分布に対する獲得関数(AF)の期待を最大化するために確率的再パラメータ化(PR)を提案する。 PRは最近の作業と補完的であり、複数の目的とブラックボックス制約を持った設定に自然に一般化します。
  論文  参考訳（メタデータ） (2022-10-18T22:41:00Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Robust Bayesian optimization with reinforcement learned acquisition functions [4.05984965639419]
  ベイズ最適化において、取得関数(AF)はシーケンシャルサンプリングを誘導し、効率的な収束のために重要な役割を果たす。 この危機に対処するため、データ駆動型AF選択の考え方が提案されている。 シーケンシャルAF選択タスクは、マルコフ決定プロセス(MDP)として形式化され、強力な強化学習(RL)技術を利用する。
  論文  参考訳（メタデータ） (2022-10-02T09:59:06Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning [119.91679702854499]
  本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。 このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。 実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-07T13:35:47Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。