論文の概要: Standard Gaussian Process Can Be Excellent for High-Dimensional Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2402.02746v4
- Date: Wed, 09 Oct 2024 02:58:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:29:52.535903
- Title: Standard Gaussian Process Can Be Excellent for High-Dimensional Bayesian Optimization
- Title（参考訳）: 標準ガウス過程は高次元ベイズ最適化に優れている
- Authors: Zhitong Xu, Haitao Wang, Jeff M Phillips, Shandian Zhe,
- Abstract要約: 本研究では,Maternカーネルが高次元問題において,標準BOが一貫した最上位結果が得られることを示す。
また,SEカーネルの故障は長大パラメータの不適切な初期化に起因することを示す。
本研究は,高次元環境下での標準BOの可能性の再評価を提唱する。
- 参考スコア（独自算出の注目度）: 20.896331588532984
- License:
- Abstract: A longstanding belief holds that Bayesian Optimization (BO) with standard Gaussian processes (GP) -- referred to as standard BO -- underperforms in high-dimensional optimization problems. While this belief seems plausible, it lacks both robust empirical evidence and theoretical justification. To address this gap, we present a systematic investigation. First, through a comprehensive evaluation across eleven widely used benchmarks, we found that while the popular Square Exponential (SE) kernel often leads to poor performance, using Matern kernels enables standard BO to consistently achieve top-tier results, frequently surpassing methods specifically designed for high-dimensional optimization. Second, our theoretical analysis reveals that the SE kernels failure primarily stems from improper initialization of the length-scale parameters, which are commonly used in practice but can cause gradient vanishing in training. We provide a probabilistic bound to characterize this issue, showing that Matern kernels are less susceptible and can robustly handle much higher dimensions. Third, we propose a simple robust initialization strategy that dramatically improves the performance of the SE kernel, bringing it close to state of the art methods, without requiring any additional priors or regularization. We prove another probabilistic bound that demonstrates how the gradient vanishing issue can be effectively mitigated with our method. Our findings advocate for a re-evaluation of standard BOs potential in high-dimensional settings.
- Abstract（参考訳）: ベイズ最適化(英: Bayesian Optimization, BO)は、標準ガウス過程 (GP) - 標準BO (標準BO) と呼ばれる - が高次元最適化問題において不備である、という長年の信念である。
この信念はありそうに思えるが、堅牢な経験的証拠と理論的正当化の両方が欠落している。
このギャップに対処するため、系統的な調査を行う。
まず,普及しているSquare Exponential(SE)カーネルは,11のベンチマークを総合的に評価することで,性能が低下することが多いが,Maternカーネルを使用することで,標準BOは高次元最適化に特化して設計された手法を多用し,一貫した結果が得られることがわかった。
第2に,SEカーネルの故障は,実際に一般的に使用されるが,訓練中に勾配が消失する可能性のある長大パラメータの不適切な初期化に起因していることが明らかとなった。
この問題を特徴づける確率的境界を提供し、Maternカーネルは感受性が低く、より高次元をしっかりと扱えることを示す。
第3に,SEカーネルの性能を劇的に向上させるシンプルな頑健な初期化戦略を提案する。
我々は、勾配の消失問題を我々の方法によって効果的に緩和できることを示す別の確率的境界を証明した。
本研究は,高次元環境下での標準BOの可能性の再評価を提唱する。
関連論文リスト
- Pseudo-Bayesian Optimization [7.556071491014536]
ブラックボックス最適化の収束を保証するために最小限の要件を課す公理的枠組みについて検討する。
我々は、単純な局所回帰と、不確実性を定量化するために適切な「ランダム化事前」構造を用いることが、収束を保証するだけでなく、常に最先端のベンチマークよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-15T07:55:28Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Provably Efficient Bayesian Optimization with Unknown Gaussian Process Hyperparameter Estimation [44.53678257757108]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-06-12T03:35:45Z) - A Study of Bayesian Neural Network Surrogates for Bayesian Optimization [46.97686790714025]
ベイズニューラルネットワーク(BNN)は近年,実用的な機能近似器になりつつある。
我々は,BNNを最適化のための標準GPサロゲートの代替として検討する。
論文 参考訳（メタデータ） (2023-05-31T17:00:00Z) - Model-based Causal Bayesian Optimization [78.120734120667]
モデルに基づく因果ベイズ最適化(MCBO)を提案する。
MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。
標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
論文 参考訳（メタデータ） (2022-11-18T14:28:21Z) - Meta-Learning Hypothesis Spaces for Sequential Decision-making [79.73213540203389]
オフラインデータ(Meta-KeL)からカーネルをメタ学習することを提案する。
穏やかな条件下では、推定されたRKHSが有効な信頼セットを得られることを保証します。
また,ベイズ最適化におけるアプローチの有効性を実証的に評価した。
論文 参考訳（メタデータ） (2022-02-01T17:46:51Z) - Accounting for Gaussian Process Imprecision in Bayesian Optimization [0.0]
ガウス過程の先行仕様が古典的BO収束に及ぼす影響について検討する。
本稿では,従来のパラメータの誤特定に対して,メソッドをより堅牢にレンダリングすることを目的としたBOの一般化としてPROBOを紹介した。
物質科学の現実的な問題に対して,従来のBOに対する我々のアプローチを検証し,より高速に収束するためにPROBOを観察する。
論文 参考訳（メタデータ） (2021-11-16T08:45:39Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - High-Dimensional Bayesian Optimisation with Variational Autoencoders and
Deep Metric Learning [119.91679702854499]
本研究では,高次元の入力空間上でベイズ最適化を行うためのディープ・メトリック・ラーニングに基づく手法を提案する。
このような帰納バイアスを、利用可能なラベル付きデータの1%だけを用いて達成する。
実証的な貢献として、実世界の高次元ブラックボックス最適化問題に対する最先端の結果を示す。
論文 参考訳（メタデータ） (2021-06-07T13:35:47Z) - Revisiting Bayesian Optimization in the light of the COCO benchmark [1.4467794332678539]
本稿では,共通かつあまり一般的ではない設計選択のbo(gaussian process based)の性能への影響について,大規模な調査を行う。
この研究のために開発されたコードは、RパッケージDiceOptimの新バージョン(v2.1.1)をCRANで利用可能にしている。
論文 参考訳（メタデータ） (2021-03-30T19:45:18Z) - Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文 参考訳（メタデータ） (2020-12-11T08:28:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。