論文の概要: Standard Gaussian Process Can Be Excellent for High-Dimensional Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2402.02746v3
- Date: Wed, 15 May 2024 06:31:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 17:41:32.207454
- Title: Standard Gaussian Process Can Be Excellent for High-Dimensional Bayesian Optimization
- Title（参考訳）: 標準ガウス過程は高次元ベイズ最適化に優れている
- Authors: Zhitong Xu, Shandian Zhe,
- Abstract要約: 我々は,高次元最適化のための様々な合成および実世界のベンチマーク問題に対して,標準GP回帰を用いたBOを体系的に検討した。
驚いたことに、Mate'ernカーネルとUpper Confidence Bound (UCB)を使用する場合、標準BOは一貫してトップレベルのパフォーマンスを実現している。
- 参考スコア（独自算出の注目度）: 16.35174351805908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There has been a long-standing and widespread belief that Bayesian Optimization (BO) with standard Gaussian process (GP), referred to as standard BO, is ineffective in high-dimensional optimization problems. While this belief sounds reasonable, strong empirical evidence is lacking. In this paper, we systematically investigated BO with standard GP regression across a variety of synthetic and real-world benchmark problems for high-dimensional optimization. We found that, surprisingly, when using Mat\'ern kernels and Upper Confidence Bound (UCB), standard BO consistently achieves top-tier performance, often outperforming other BO methods specifically designed for high-dimensional optimization. Contrary to the stereotype, we found that standard GP equipped with Mat\'ern kernels can serve as a capable surrogate for learning high-dimensional functions. Without strong structural assumptions, BO with standard GP not only excels in high-dimensional optimization but also is robust in accommodating various structures within target functions. Furthermore, with standard GP, achieving promising optimization performance is possible via maximum a posterior (MAP) estimation with diffuse priors or merely maximum likelihood estimation, eliminating the need for expensive Markov-Chain Monte Carlo (MCMC) sampling that might be required by more complex surrogate models. In parallel, we also investigated and analyzed alternative popular settings in running standard BO, which, however, often fail in high-dimensional optimization. This might link to the a few failure cases reported in literature. We thus advocate for a re-evaluation and in-depth study of the potential of standard BO in addressing high-dimensional problems.
- Abstract（参考訳）: 標準ガウス過程 (GP) を持つベイズ最適化 (BO) は高次元最適化問題では有効ではないという長年にわたる広く信じられてきた。
この信念は合理的に聞こえるが、強い経験的証拠は欠落している。
本稿では,高次元最適化のための多種多様な合成および実世界のベンチマーク問題に対して,標準的なGP回帰を用いたBOを体系的に検討した。
意外なことに、Match\ernカーネルとUpper Confidence Bound (UCB)を使用する場合、標準BOは一貫してトップレベルのパフォーマンスを実現し、高次元最適化のために設計された他のBOメソッドよりも優れていることがわかりました。
ステレオタイプとは対照的に、Mat\'ernカーネルを搭載した標準GPは高次元関数の学習に有効なサロゲートとして機能することを発見した。
強い構造的仮定がなければ、標準 GP を持つ BO は高次元最適化に優れるだけでなく、ターゲット関数内の様々な構造を調節するのにも堅牢である。
さらに、標準GPでは、より複雑なサロゲートモデルで必要とされる高価なマルコフ-チェインモンテカルロサンプリング(MCMC)の必要性を排除し、拡散前の最大 (MAP) 推定または単に最大 (maximum maximum) 推定によって、有望な最適化性能を達成することができる。
並行して、標準BOの実行における代替の一般的な設定についても検討し、分析を行ったが、高次元最適化ではしばしば失敗する。
これは、文献で報告されたいくつかの障害ケースと関係があるかもしれない。
そこで我々は,高次元問題に対処する上での標準BOの可能性の再評価と詳細な研究を提唱する。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [46.97686790714025]
ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。
我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
論文 参考訳（メタデータ） (2023-05-31T17:00:00Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - High Dimensional Bayesian Optimization with Kernel Principal Component
Analysis [4.33419118449588]
カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。
我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
論文 参考訳（メタデータ） (2022-04-28T20:09:02Z) - MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation [0.01652719262940403]
最適化問題は、しばしば計算的に、あるいは金銭的にコストがかかる複数の矛盾する目標を持つ。
単代理ベイズ最適化(BO)は、そのようなブラックボックス関数を最適化するための一般的なモデルベースのアプローチである。
BOREによるBOの先行研究を多目的設定に拡張する。
論文 参考訳（メタデータ） (2022-03-31T09:27:59Z) - Design-Bench: Benchmarks for Data-Driven Offline Model-Based
Optimization [82.02008764719896]
ブラックボックスモデルに基づく最適化問題は、タンパク質、DNA配列、航空機、ロボットの設計など、幅広い領域で広く使われている。
本稿では,統合評価プロトコルと最近の手法の参照実装を備えたオフラインMBOのためのベンチマークであるDesign-Benchを提案する。
私たちのベンチマークには、生物学、材料科学、ロボット工学における現実世界の最適化問題から派生した、多種多様な現実的なタスクが含まれています。
論文 参考訳（メタデータ） (2022-02-17T05:33:27Z) - Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。
本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。
物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
論文 参考訳（メタデータ） (2021-11-16T08:45:39Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳（メタデータ） (2021-03-30T19:45:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。