論文の概要: High Dimensional Bayesian Optimization with Kernel Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2204.13753v1
• Date: Thu, 28 Apr 2022 20:09:02 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-02 13:43:49.978207
• Title: High Dimensional Bayesian Optimization with Kernel Principal Component Analysis
• Title（参考訳）: カーネル主成分分析による高次元ベイズ最適化
• Authors: Kirill Antonov, Elena Raponi, Hao Wang, Carola Doerr
• Abstract要約: カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。 我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
• 参考スコア（独自算出の注目度）: 4.33419118449588
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization (BO) is a surrogate-based global optimization strategy that relies on a Gaussian Process regression (GPR) model to approximate the objective function and an acquisition function to suggest candidate points. It is well-known that BO does not scale well for high-dimensional problems because the GPR model requires substantially more data points to achieve sufficient accuracy and acquisition optimization becomes computationally expensive in high dimensions. Several recent works aim at addressing these issues, e.g., methods that implement online variable selection or conduct the search on a lower-dimensional sub-manifold of the original search space. Advancing our previous work of PCA-BO that learns a linear sub-manifold, this paper proposes a novel kernel PCA-assisted BO (KPCA-BO) algorithm, which embeds a non-linear sub-manifold in the search space and performs BO on this sub-manifold. Intuitively, constructing the GPR model on a lower-dimensional sub-manifold helps improve the modeling accuracy without requiring much more data from the objective function. Also, our approach defines the acquisition function on the lower-dimensional sub-manifold, making the acquisition optimization more manageable. We compare the performance of KPCA-BO to the vanilla BO and PCA-BO on the multi-modal problems of the COCO/BBOB benchmark suite. Empirical results show that KPCA-BO outperforms BO in terms of convergence speed on most test problems, and this benefit becomes more significant when the dimensionality increases. For the 60D functions, KPCA-BO surpasses PCA-BO in many test cases. Moreover, it efficiently reduces the CPU time required to train the GPR model and optimize the acquisition function compared to the vanilla BO.
• Abstract（参考訳）: ベイズ最適化 (bayesian optimization, bo) は、対象関数を近似するガウス過程回帰 (gpr) モデルと候補点を提案する獲得関数に依存する、サーロゲートに基づく大域的最適化戦略である。 gprモデルは十分な精度を達成するためにかなり多くのデータポイントを必要とし、高次元で計算コストがかかるため、boは高次元問題に対してうまくスケールできないことがよく知られている。 いくつかの最近の研究は、オンライン変数選択を実装したり、元の検索空間の低次元部分多様体上で探索を行う方法など、これらの問題に対処することを目的としている。 そこで本研究では,線形部分多様体を学習するPCA-BOの従来の成果を活用し,線形部分多様体に非線形部分多様体を埋め込んだ新しいカーネルPCA-BO(KPCA-BO)アルゴリズムを提案する。 直感的には、低次元のサブ多様体上にGPRモデルを構築することは、目的関数からより多くのデータを必要とすることなく、モデリング精度を向上させるのに役立つ。 また, 本手法では, 低次元部分多様体上の獲得関数を定義し, 獲得最適化をより管理しやすくする。 我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。 実験の結果、KPCA-BOは、ほとんどのテスト問題において収束速度においてBOよりも優れており、この利点は次元が大きくなるとより顕著になる。 60D関数の場合、KPCA-BOは多くのテストケースでPCA-BOを上回っている。 さらに、GPRモデルのトレーニングに必要なCPU時間を効率よく削減し、バニラBOと比較して取得機能を最適化する。

関連論文リスト

• Approximation-Aware Bayesian Optimization [34.56666383247348]
  高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。 ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
  論文  参考訳（メタデータ） (2024-06-06T17:55:02Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Predictive Modeling through Hyper-Bayesian Optimization [60.586813904500595]
  本稿では,モデル選択とBOを統合する新しい手法を提案する。 このアルゴリズムは、モデル空間のBOと関数空間のBOの間を行き来する。 サンプル効率の改善に加えて、ブラックボックス機能に関する情報も出力する。
  論文  参考訳（メタデータ） (2023-08-01T04:46:58Z)
• Model-based Causal Bayesian Optimization [78.120734120667]
  モデルに基づく因果ベイズ最適化(MCBO)を提案する。 MCBOは介入と逆のペアをモデリングするのではなく、完全なシステムモデルを学ぶ。 標準的なベイズ最適化とは異なり、我々の取得関数は閉形式では評価できない。
  論文  参考訳（メタデータ） (2022-11-18T14:28:21Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• A General Recipe for Likelihood-free Bayesian Optimization [115.82591413062546]
  我々は,BOをより広範なモデルやユーティリティに拡張する可能性のないBO(LFBO)を提案する。 LFBOは、確率的代理モデルと個別に推論を行うことなく、取得関数を直接モデル化する。 LFBOにおける取得関数の計算は、重み付けされた分類問題を最適化することで削減できることを示す。
  論文  参考訳（メタデータ） (2022-06-27T03:55:27Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• MBORE: Multi-objective Bayesian Optimisation by Density-Ratio Estimation [0.01652719262940403]
  最適化問題は、しばしば計算的に、あるいは金銭的にコストがかかる複数の矛盾する目標を持つ。 単代理ベイズ最適化(BO)は、そのようなブラックボックス関数を最適化するための一般的なモデルベースのアプローチである。 BOREによるBOの先行研究を多目的設定に拡張する。
  論文  参考訳（メタデータ） (2022-03-31T09:27:59Z)
• Bayesian Optimization over Permutation Spaces [30.650753803587794]
  BOPS (Permutation Spaces) に対する2つのアルゴリズムの提案と評価を行った。 BOPS-Tの性能を理論的に解析し,その後悔がサブリニアに増加することを示す。 複数の合成および実世界のベンチマーク実験により、BOPS-TとBOPS-Hは、空間に対する最先端のBOアルゴリズムよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2021-12-02T08:20:50Z)
• High-Dimensional Bayesian Optimization via Tree-Structured Additive Models [40.497123136157946]
  変数の重複部分集合を持つ低次元関数を合成して高次元目標関数をモデル化する一般化加法モデルを検討する。 私たちの目標は、必要な計算リソースを減らし、より高速なモデル学習を促進することです。 我々は,合成関数と実世界のデータセットに関する様々な実験を通して,本手法の有効性を実証し,議論する。
  論文  参考訳（メタデータ） (2020-12-24T03:56:44Z)
• High Dimensional Bayesian Optimization Assisted by Principal Component Analysis [4.030481609048958]
  高次元数値最適化問題に対する新しいPCA支援BO(PCA-BO)アルゴリズムを提案する。 我々は,PCA-BOが高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することを示す。
  論文  参考訳（メタデータ） (2020-07-02T07:03:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。