論文の概要: Unleashing the Potential of Acquisition Functions in High-Dimensional Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2302.08298v2
• Date: Wed, 24 Jan 2024 02:58:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-25 18:02:45.613711
• Title: Unleashing the Potential of Acquisition Functions in High-Dimensional Bayesian Optimization
• Title（参考訳）: 高次元ベイズ最適化における獲得関数の可能性
• Authors: Jiayu Zhao, Renyu Yang, Shenghao Qiu, Zheng Wang
• Abstract要約: ベイズ最適化は高価なブラックボックス関数の最適化に広く用いられている。 高次元問題では、取得関数の大域的な最大値を求めることは困難である。 ブラックボックス最適化の歴史的能力を活用するために,複数のデータポイントを利用することにより,より優れたアプローチを提案する。
• 参考スコア（独自算出の注目度）: 5.349207553730357
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian optimization (BO) is widely used to optimize expensive-to-evaluate black-box functions.BO first builds a surrogate model to represent the objective function and assesses its uncertainty. It then decides where to sample by maximizing an acquisition function (AF) based on the surrogate model. However, when dealing with high-dimensional problems, finding the global maximum of the AF becomes increasingly challenging. In such cases, the initialization of the AF maximizer plays a pivotal role, as an inadequate setup can severely hinder the effectiveness of the AF. This paper investigates a largely understudied problem concerning the impact of AF maximizer initialization on exploiting AFs' capability. Our large-scale empirical study shows that the widely used random initialization strategy often fails to harness the potential of an AF. In light of this, we propose a better initialization approach by employing multiple heuristic optimizers to leverage the historical data of black-box optimization to generate initial points for the AF maximize. We evaluate our approach with a range of heavily studied synthetic functions and real-world applications. Experimental results show that our techniques, while simple, can significantly enhance the standard BO and outperform state-of-the-art methods by a large margin in most test cases.
• Abstract（参考訳）: ベイズ最適化(BO)はコスト対評価ブラックボックス関数の最適化に広く用いられており、BOはまず目的関数を表す代理モデルを構築し、その不確実性を評価する。 次に、サロゲートモデルに基づいて取得関数(AF)を最大化することで、サンプルの場所を決定する。 しかし、高次元問題を扱う場合、AFのグローバルな最大値を見つけることはますます困難になっている。 このような場合、不適切な設定がAFの有効性を著しく阻害するので、AF最大化器の初期化が重要な役割を果たす。 本稿では, AF の最大化が AF 能力の活用に与える影響について検討した。 大規模実験の結果,広く用いられているランダム初期化戦略は,afのポテンシャルをうまく利用できないことが判明した。 そこで我々は,複数のヒューリスティックオプティマイザを用いてブラックボックス最適化の履歴データを利用して,AF最大点の初期点を生成することにより,より優れた初期化手法を提案する。 我々は,本手法を多種多様な研究された合成関数と実世界の応用で評価する。 実験結果から,本手法は単純ではあるが,ほとんどのテストケースにおいて,bo法と最先端法を大きく上回ることができることがわかった。

関連論文リスト

• FunBO: Discovering Acquisition Functions for Bayesian Optimization with FunSearch [21.41322548859776]
  本稿では、FunBOを用いて、コンピュータコードで書かれた新しい取得関数を学習する方法を示す。 本稿では,FunBOが関数のトレーニング分布の内外をよく一般化するAFを特定する方法を示す。
  論文  参考訳（メタデータ） (2024-06-07T10:49:59Z)
• Enhanced Bayesian Optimization via Preferential Modeling of Abstract Properties [49.351577714596544]
  本研究では,非測定抽象特性に関する専門家の嗜好を代理モデルに組み込むための,人間とAIの協調型ベイズフレームワークを提案する。 優先判断において、誤った/誤解を招く専門家バイアスを処理できる効率的な戦略を提供する。
  論文  参考訳（メタデータ） (2024-02-27T09:23:13Z)
• A General Framework for User-Guided Bayesian Optimization [51.96352579696041]
  コラボ (ColaBO) は、典型的なカーネル構造を超越した事前信念のための最初のベイズ原理の枠組みである。 我々は,ColaBOの事前情報が正確である場合に最適化を著しく高速化し,ミスリード時のほぼ既定性能を維持する能力を実証的に実証した。
  論文  参考訳（メタデータ） (2023-11-24T18:27:26Z)
• Towards Automated Design of Bayesian Optimization via Exploratory Landscape Analysis [11.143778114800272]
  AFの動的選択はBO設計に有用であることを示す。 我々は,オートML支援のオンザフライBO設計への道を開き,その動作をランニング・バイ・ランで調整する。
  論文  参考訳（メタデータ） (2022-11-17T17:15:04Z)
• Bayesian Optimization over Discrete and Mixed Spaces via Probabilistic Reparameterization [29.178417789839102]
  離散的(そして潜在的に連続的な)設計パラメータのブラックボックス関数を最適化することは、科学や工学の応用においてユビキタスな問題である。 本稿では,確率分布に対する獲得関数(AF)の期待を最大化するために確率的再パラメータ化(PR)を提案する。 PRは最近の作業と補完的であり、複数の目的とブラックボックス制約を持った設定に自然に一般化します。
  論文  参考訳（メタデータ） (2022-10-18T22:41:00Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Robust Bayesian optimization with reinforcement learned acquisition functions [4.05984965639419]
  ベイズ最適化において、取得関数(AF)はシーケンシャルサンプリングを誘導し、効率的な収束のために重要な役割を果たす。 この危機に対処するため、データ駆動型AF選択の考え方が提案されている。 シーケンシャルAF選択タスクは、マルコフ決定プロセス(MDP)として形式化され、強力な強化学習(RL)技術を利用する。
  論文  参考訳（メタデータ） (2022-10-02T09:59:06Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• High-Dimensional Bayesian Optimisation with Variational Autoencoders and Deep Metric Learning [119.91679702854499]
  本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。 このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。 実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
  論文  参考訳（メタデータ） (2021-06-07T13:35:47Z)
• Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
  変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。 GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。 本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
  論文  参考訳（メタデータ） (2021-01-06T17:36:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。