論文の概要: Standard Gaussian Process is All You Need for High-Dimensional Bayesian
Optimization
- arxiv url: http://arxiv.org/abs/2402.02746v2
- Date: Thu, 7 Mar 2024 15:47:29 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 17:09:07.143907
- Title: Standard Gaussian Process is All You Need for High-Dimensional Bayesian
Optimization
- Title(参考訳): 高次元ベイズ最適化に必要な標準ガウス過程
- Authors: Zhitong Xu, Shandian Zhe
- Abstract要約: 標準GPは高次元対象関数の学習に有効なサロゲートとして機能することを示す。
標準GPでは、最大推定だけを用いることで、有望な最適化性能を達成することができる。
- 参考スコア(独自算出の注目度): 18.37772102644086
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been a long-standing and widespread belief that Bayesian
Optimization (BO) with standard Gaussian process (GP), referred to as standard
BO, is ineffective in high-dimensional optimization problems. This perception
may partly stem from the intuition that GPs struggle with high-dimensional
inputs for covariance modeling and function estimation. While these concerns
seem reasonable, empirical evidence supporting this belief is lacking. In this
paper, we systematically investigated BO with standard GP regression across a
variety of synthetic and real-world benchmark problems for high-dimensional
optimization. Surprisingly, the performance with standard GP consistently ranks
among the best, often outperforming existing BO methods specifically designed
for high-dimensional optimization by a large margin. Contrary to the
stereotype, we found that standard GP can serve as a capable surrogate for
learning high-dimensional target functions. Without strong structural
assumptions, BO with standard GP not only excels in high-dimensional
optimization but also proves robust in accommodating various structures within
the target functions. Furthermore, with standard GP, achieving promising
optimization performance is possible by only using maximum likelihood
estimation, eliminating the need for expensive Markov-Chain Monte Carlo (MCMC)
sampling that might be required by more complex surrogate models. We thus
advocate for a re-evaluation and in-depth study of the potential of standard BO
in addressing high-dimensional problems.
- Abstract(参考訳): 標準ガウス過程 (GP) を持つベイズ最適化 (BO) は高次元最適化問題では有効ではないという長年にわたる広く信じられてきた。
この認識の一部は、GPが共分散モデリングと関数推定のために高次元入力に苦しむ直観に由来するかもしれない。
これらの懸念は妥当に見えるが、この信念を支持する実証的な証拠は不足している。
本稿では,高次元最適化のための様々な合成および実世界のベンチマーク問題に対して,標準GP回帰を用いたBOを体系的に検討した。
驚くべきことに、標準gpのパフォーマンスは一貫して最高のものとなり、特に高次元最適化のために設計された既存のboメソッドを大きなマージンで上回っている。
ステレオタイプとは対照的に,標準GPは高次元対象関数の学習に有効な代理として機能することがわかった。
強い構造的仮定がなければ、標準 GP を持つ BO は高次元最適化に優れるだけでなく、対象関数内の様々な構造を調節する上でも堅牢である。
さらに、標準GPでは、より複雑な代理モデルで必要とされる高価なマルコフ-チェインモンテカルロサンプリング(MCMC)の必要性を排除し、最大推定だけを用いることで、期待できる最適化性能を達成することができる。
そこで我々は,高次元問題に対する標準ボのポテンシャルの再評価と詳細な研究を提唱する。
関連論文リスト
- Pseudo-Bayesian Optimization [8.92649750178942]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
特に、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳(メタデータ) (2023-10-15T07:55:28Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳(メタデータ) (2023-07-25T09:45:47Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [40.28226963197571]
我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
本研究では, 様々な目的, 目的数, 非定常性, 離散的かつ連続的な入力を含む多様な問題に対するサロゲートモデルの収集を評価する。
論文 参考訳(メタデータ) (2023-05-31T17:00:00Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳(メタデータ) (2022-11-18T14:28:21Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳(メタデータ) (2022-10-04T04:43:58Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳(メタデータ) (2022-05-27T16:43:10Z) - High Dimensional Bayesian Optimization with Kernel Principal Component
Analysis [4.33419118449588]
カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。
我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
論文 参考訳(メタデータ) (2022-04-28T20:09:02Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳(メタデータ) (2021-03-30T19:45:18Z) - Offline Model-Based Optimization via Normalized Maximum Likelihood
Estimation [101.22379613810881]
データ駆動最適化の問題を検討し、一定の点セットでクエリのみを与えられた関数を最大化する必要がある。
この問題は、関数評価が複雑で高価なプロセスである多くの領域に現れる。
我々は,提案手法を高容量ニューラルネットワークモデルに拡張可能なトラクタブル近似を提案する。
論文 参考訳(メタデータ) (2021-02-16T06:04:27Z) - Scalable Constrained Bayesian Optimization [10.820024633762596]
ブラックボックス制約下での高次元ブラックボックス関数のグローバルな最適化は、機械学習、制御、科学コミュニティにおける普及的なタスクである。
本稿では,上記の課題を克服し,現状を推し進めるスケーラブルな制約付きベイズ最適化(SCBO)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-02-20T01:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。