論文の概要: High Dimensional Bayesian Optimization Assisted by Principal Component Analysis

• arxiv url: http://arxiv.org/abs/2007.00925v1
• Date: Thu, 2 Jul 2020 07:03:27 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 13:32:54.001540
• Title: High Dimensional Bayesian Optimization Assisted by Principal Component Analysis
• Title（参考訳）: 主成分分析による高次元ベイズ最適化
• Authors: Elena Raponi, Hao Wang, Mariusz Bujny, Simonetta Boria and Carola Doerr
• Abstract要約: 高次元数値最適化問題に対する新しいPCA支援BO(PCA-BO)アルゴリズムを提案する。 我々は,PCA-BOが高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することを示す。
• 参考スコア（独自算出の注目度）: 4.030481609048958
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Optimization (BO) is a surrogate-assisted global optimization technique that has been successfully applied in various fields, e.g., automated machine learning and design optimization. Built upon a so-called infill-criterion and Gaussian Process regression (GPR), the BO technique suffers from a substantial computational complexity and hampered convergence rate as the dimension of the search spaces increases. Scaling up BO for high-dimensional optimization problems remains a challenging task. In this paper, we propose to tackle the scalability of BO by hybridizing it with a Principal Component Analysis (PCA), resulting in a novel PCA-assisted BO (PCA-BO) algorithm. Specifically, the PCA procedure learns a linear transformation from all the evaluated points during the run and selects dimensions in the transformed space according to the variability of evaluated points. We then construct the GPR model, and the infill-criterion in the space spanned by the selected dimensions. We assess the performance of our PCA-BO in terms of the empirical convergence rate and CPU time on multi-modal problems from the COCO benchmark framework. The experimental results show that PCA-BO can effectively reduce the CPU time incurred on high-dimensional problems, and maintains the convergence rate on problems with an adequate global structure. PCA-BO therefore provides a satisfactory trade-off between the convergence rate and computational efficiency opening new ways to benefit from the strength of BO approaches in high dimensional numerical optimization.
• Abstract（参考訳）: ベイジアン最適化(英: Bayesian Optimization, BO)は、自動機械学習や設計最適化など、様々な分野に適用された、代理支援のグローバル最適化手法である。 いわゆる infill-criterion and gaussian process regression (gpr) に基づいて構築されたbo技法は、探索空間の次元が増加するにつれて計算の複雑さと収束率を阻害する。 高次元最適化問題に対するBOのスケールアップは依然として難しい課題である。 本稿では,PCAを主成分分析(PCA)と組み合わせることでBOのスケーラビリティに取り組み,新しいPCA-BOアルゴリズムを提案する。 具体的には、pca手順は、実行中のすべての評価点から線形変換を学習し、評価点の変動性に応じて変換空間の次元を選択する。 次に、GPRモデルを構築し、選択された次元にまたがる空間における補充基準について述べる。 我々はCOCOベンチマークフレームワークによるマルチモーダル問題に対する経験的収束率とCPU時間の観点からPCA-BOの性能を評価する。 実験の結果,PCA-BOは高次元問題におけるCPU時間を効果的に削減し,適切なグローバル構造を持つ問題に対する収束率を維持することができることがわかった。 そのため、PCA-BOは、高次元数値最適化におけるBOアプローチの強みから恩恵を受ける新しい方法を開く収束率と計算効率の間の良好なトレードオフを提供する。

関連論文リスト

• Approximation-Aware Bayesian Optimization [34.56666383247348]
  高次元ベイズ最適化(BO)タスクは、意味のある結果を得る前に10,000の関数評価を必要とすることが多い。 本稿では,小変動ガウス過程 (SVGP) をBOの目標とよく一致させるために修正する。 ユーティリティ校正変分推論の枠組みを用いて,GP近似とデータ取得を共同最適化問題に統一する。
  論文  参考訳（メタデータ） (2024-06-06T17:55:02Z)
• Cost-Sensitive Multi-Fidelity Bayesian Optimization with Transfer of Learning Curve Extrapolation [55.75188191403343]
  各ユーザが事前に定義した機能であるユーティリティを導入し,BOのコストと性能のトレードオフについて述べる。 このアルゴリズムをLCデータセット上で検証した結果,従来のマルチファイルBOや転送BOベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2024-05-28T07:38:39Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Parallel Bayesian Optimization Using Satisficing Thompson Sampling for Time-Sensitive Black-Box Optimization [0.0]
  本稿では,Thompsonサンプリングに基づく並列BO手法を提案する。 ターゲットを最適なソリューションから、学習しやすい満足できるソリューションにシフトします。 リチウムイオン電池の高速充電設計問題に対して提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2023-10-19T07:03:51Z)
• Evidence that PUBO outperforms QUBO when solving continuous optimization problems with the QAOA [4.670374869377859]
  量子アルゴリズムによる最適化問題の解決における中核的なステップは、問題の定式化である。 近年の研究では、多くの問題を自然の多項式非制約最適化形式でより効率的に解けることが示されている。 適切なベンチマーク関数の評価では、PUBOの定式化は一般により良い結果をもたらすが、キュービットは少ない。
  論文  参考訳（メタデータ） (2023-05-05T09:37:48Z)
• Sparse high-dimensional linear regression with a partitioned empirical Bayes ECM algorithm [62.997667081978825]
  疎高次元線形回帰に対する計算効率が高く強力なベイズ的手法を提案する。 パラメータに関する最小の事前仮定は、プラグイン経験的ベイズ推定(英語版)を用いて用いられる。 提案手法はRパッケージプローブに実装されている。
  論文  参考訳（メタデータ） (2022-09-16T19:15:50Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• High Dimensional Bayesian Optimization with Kernel Principal Component Analysis [4.33419118449588]
  カーネルPCA支援BO(KPCA-BO)アルゴリズムは,探索空間に非線形部分多様体を埋め込み,この部分多様体上でBOを実行する。 我々は、COCO/BBOBベンチマークスイートのマルチモーダル問題に対して、KPCA-BOとバニラBOとPCA-BOの性能を比較した。
  論文  参考訳（メタデータ） (2022-04-28T20:09:02Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Optimal Bayesian experimental design for subsurface flow problems [77.34726150561087]
  本稿では,設計ユーティリティ機能のためのカオス拡張サロゲートモデル(PCE)の開発のための新しいアプローチを提案する。 この手法により,対象関数に対する適切な品質応答面の導出が可能となり,計算予算は複数の単点評価に匹敵する。
  論文  参考訳（メタデータ） (2020-08-10T09:42:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。