論文の概要: Approximation-Aware Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2406.04308v1
• Date: Thu, 6 Jun 2024 17:55:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 13:30:41.726903
• Title: Approximation-Aware Bayesian Optimization
• Title（参考訳）: 近似-アウェアベイズ最適化
• Authors: Natalie Maus, Kyurae Kim, Geoff Pleiss, David Eriksson, John P. Cunningham, Jacob R. Gardner,
• Abstract要約: 高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。 ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
• 参考スコア（独自算出の注目度）: 34.56666383247348
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: High-dimensional Bayesian optimization (BO) tasks such as molecular design often require 10,000 function evaluations before obtaining meaningful results. While methods like sparse variational Gaussian processes (SVGPs) reduce computational requirements in these settings, the underlying approximations result in suboptimal data acquisitions that slow the progress of optimization. In this paper we modify SVGPs to better align with the goals of BO: targeting informed data acquisition rather than global posterior fidelity. Using the framework of utility-calibrated variational inference, we unify GP approximation and data acquisition into a joint optimization problem, thereby ensuring optimal decisions under a limited computational budget. Our approach can be used with any decision-theoretic acquisition function and is compatible with trust region methods like TuRBO. We derive efficient joint objectives for the expected improvement and knowledge gradient acquisition functions in both the standard and batch BO settings. Our approach outperforms standard SVGPs on high-dimensional benchmark tasks in control and molecular design.
• Abstract（参考訳）: 分子設計のような高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 スパース変分ガウス過程(SVGP)のような手法は、これらの設定における計算要求を減少させるが、根底にある近似は最適化の進行を遅らせる最適以下のデータ取得をもたらす。 本稿では,グローバルな後部忠実度ではなく,インフォメーションデータ取得を目標とする,BOの目標に適合するSVGPを改良する。 実用校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一し,限られた計算予算下での最適決定を確実にする。 提案手法は任意の決定論的獲得関数で使用することができ,TuRBOのような信頼領域法と互換性がある。 標準化とバッチBO設定の両方において、期待される改善と知識勾配獲得機能のための効率的な共同目標を導出する。 本手法は,制御および分子設計における高次元のベンチマークタスクにおいて,標準SVGPよりも優れた性能を示す。

関連論文リスト

• Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
  バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。 我々はこれらの不変カーネルの最大情報ゲインを導出する。 核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
  論文  参考訳（メタデータ） (2024-10-22T12:51:46Z)
• Adaptive Preference Scaling for Reinforcement Learning with Human Feedback [103.36048042664768]
  人間からのフィードバックからの強化学習(RLHF)は、AIシステムと人間の価値を合わせるための一般的なアプローチである。 本稿では,分散ロバスト最適化(DRO)に基づく適応的優先損失を提案する。 提案手法は多用途であり,様々な選好最適化フレームワークに容易に適用可能である。
  論文  参考訳（メタデータ） (2024-06-04T20:33:22Z)
• BO4IO: A Bayesian optimization approach to inverse optimization with uncertainty quantification [5.031974232392534]
  この研究はデータ駆動逆最適化(IO)に対処する。 目的は最適化モデルにおける未知のパラメータを、最適あるいは準最適と仮定できる観測された決定から推定することである。
  論文  参考訳（メタデータ） (2024-05-28T06:52:17Z)
• PG-LBO: Enhancing High-Dimensional Bayesian Optimization with Pseudo-Label and Gaussian Process Guidance [31.585328335396607]
  現在の主流の手法は、ラベルのないデータのプールを利用して潜在空間を構築する可能性を見落としている。 ラベル付きデータのガイダンスを用いてラベル付きデータを効果的に活用するための新しい手法を提案する。 提案手法は,様々な最適化シナリオにおいて,既存のVAE-BOアルゴリズムよりも優れている。
  論文  参考訳（メタデータ） (2023-12-28T11:57:58Z)
• Learning Regions of Interest for Bayesian Optimization with Adaptive Level-Set Estimation [84.0621253654014]
  本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。 理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
  論文  参考訳（メタデータ） (2023-07-25T09:45:47Z)
• Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
  統計的決定論の研究からシャノンエントロピーの一般化を考える。 まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。 次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
  論文  参考訳（メタデータ） (2022-10-04T04:43:58Z)
• Pre-training helps Bayesian optimization too [49.28382118032923]
  機能的事前設定のための代替的なプラクティスを模索する。 特に、より厳密な分布を事前訓練できるような、類似した関数のデータを持つシナリオを考察する。 提案手法は, 競合する手法の少なくとも3倍の効率で, 優れたハイパーパラメータを見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-07-07T04:42:54Z)
• High Dimensional Bayesian Optimization with Kernel Principal Component Analysis [4.33419118449588]
  カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。 我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
  論文  参考訳（メタデータ） (2022-04-28T20:09:02Z)
• Multi-Fidelity Bayesian Optimization via Deep Neural Networks [19.699020509495437]
  多くのアプリケーションでは、目的関数を複数の忠実度で評価することで、コストと精度のトレードオフを可能にする。 本稿では,DNN-MFBO(Deep Neural Network Multi-Fidelity Bayesian Optimization)を提案する。 本手法の利点は, 総合的なベンチマークデータセットと, 工学設計における実世界の応用の両方にある。
  論文  参考訳（メタデータ） (2020-07-06T23:28:40Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。