論文の概要: Surrogate modeling for Bayesian optimization beyond a single Gaussian process

• arxiv url: http://arxiv.org/abs/2205.14090v1
• Date: Fri, 27 May 2022 16:43:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-30 16:40:06.073683
• Title: Surrogate modeling for Bayesian optimization beyond a single Gaussian process
• Title（参考訳）: 単一ガウス過程を超えたベイズ最適化のためのサロゲートモデリング
• Authors: Qin Lu, Konstantinos D. Polyzos, Bingcong Li, Georgios B. Giannakis
• Abstract要約: 本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
• 参考スコア（独自算出の注目度）: 62.294228304646516
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization (BO) has well-documented merits for optimizing black-box functions with an expensive evaluation cost. Such functions emerge in applications as diverse as hyperparameter tuning, drug discovery, and robotics. BO hinges on a Bayesian surrogate model to sequentially select query points so as to balance exploration with exploitation of the search space. Most existing works rely on a single Gaussian process (GP) based surrogate model, where the kernel function form is typically preselected using domain knowledge. To bypass such a design process, this paper leverages an ensemble (E) of GPs to adaptively select the surrogate model fit on-the-fly, yielding a GP mixture posterior with enhanced expressiveness for the sought function. Acquisition of the next evaluation input using this EGP-based function posterior is then enabled by Thompson sampling (TS) that requires no additional design parameters. To endow function sampling with scalability, random feature-based kernel approximation is leveraged per GP model. The novel EGP-TS readily accommodates parallel operation. To further establish convergence of the proposed EGP-TS to the global optimum, analysis is conducted based on the notion of Bayesian regret for both sequential and parallel settings. Tests on synthetic functions and real-world applications showcase the merits of the proposed method.
• Abstract（参考訳）: ベイズ最適化(BO)は、高価な評価コストでブラックボックス関数を最適化する利点を十分に文書化している。 このような機能はハイパーパラメータチューニング、薬物発見、ロボティクスなど、さまざまなアプリケーションで登場します。 boはベイズサーロゲートモデルにヒンジを付けてクエリポイントを順次選択し、探索と検索空間の活用のバランスをとる。 既存のほとんどの研究は単一のガウス過程(GP)ベースの代理モデルに依存しており、そこではカーネル関数の形式は通常ドメイン知識を用いて事前選択される。 このような設計プロセスをバイパスするために,gpsのアンサンブル(e)を活用し,オンザフライに適合するサロゲートモデルを適応的に選択する。 次に、このEGPに基づく関数後部を用いた次の評価入力の取得を、追加の設計パラメータを必要としないトンプソンサンプリング(TS)によって行う。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 新規なEGP-TSは、容易に並列動作が可能である。 提案するegp-tsのグローバル最適化への収束をさらに確立するために,シーケンシャルおよび並列環境におけるベイズ後悔の概念に基づいて解析を行う。 合成関数のテストと実世界の応用は,提案手法の利点を示す。

関連論文リスト

• Optimizing Posterior Samples for Bayesian Optimization via Rootfinding [2.94944680995069]
  我々は,グローバルなルートフィンディングに基づく後方サンプルの効率的な大域的最適化手法を提案する。 内ループ最適化と外ループ最適化の両方において顕著な改善が示された。 GP-TSのサンプル平均定式化も提案する。
  論文  参考訳（メタデータ） (2024-10-29T17:57:16Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Simulation Based Bayesian Optimization [0.6526824510982799]
  本稿では,獲得関数を最適化するための新しいアプローチとして,シミュレーションベースベイズ最適化(SBBO)を提案する。 SBBOは、離散変数を持つ空間に適した代理モデルを使用することができる。 代理モデルの様々な選択を用いたSBBO法の有効性を実証的に実証した。
  論文  参考訳（メタデータ） (2024-01-19T16:56:11Z)
• Bayesian Kernelized Tensor Factorization as Surrogate for Bayesian Optimization [13.896697187967545]
  カーネル最適化(BO)は主にガウス過程(GP)をキーサロゲートモデルとして用いている。 本稿では,BOにおける新しい代理モデルとしてベイズ因子化(BKTF)を提案する。 BKTFは、不確実量化を伴う複素関数を特徴づけるための柔軟で効果的なアプローチを提供する。
  論文  参考訳（メタデータ） (2023-02-28T12:00:21Z)
• Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes [0.0]
  空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
  論文  参考訳（メタデータ） (2022-03-02T23:55:14Z)
• Non-Gaussian Gaussian Processes for Few-Shot Regression [71.33730039795921]
  乱変数ベクトルの各成分上で動作し,パラメータを全て共有する可逆なODEベースのマッピングを提案する。 NGGPは、様々なベンチマークとアプリケーションに対する競合する最先端のアプローチよりも優れています。
  論文  参考訳（メタデータ） (2021-10-26T10:45:25Z)
• Gaussian Process Sampling and Optimization with Approximate Upper and Lower Bounds [43.70206216468687]
  多くの関数は、ほぼ既知の上界と下界を持ち、そのような関数のモデリングを補助する可能性がある。 そのような境界が(ほぼ)知られている関数に対するガウス過程モデルを導入する。 すなわち、与えられた境界を満たすGPモデルを変換し、その後からサンプル関数と重み関数を導出する。
  論文  参考訳（メタデータ） (2021-10-22T22:35:57Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Likelihood-Free Inference with Deep Gaussian Processes [70.74203794847344]
  サーロゲートモデルは、シミュレータ評価の回数を減らすために、可能性のない推論に成功している。 本稿では,より不規則な対象分布を扱えるディープガウス過程(DGP)サロゲートモデルを提案する。 本実験は,DGPがマルチモーダル分布を持つ目的関数上でGPよりも優れ,単調な場合と同等の性能を維持できることを示す。
  論文  参考訳（メタデータ） (2020-06-18T14:24:05Z)
• Randomised Gaussian Process Upper Confidence Bound for Bayesian Optimisation [60.93091603232817]
  改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。 これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。 これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
  論文  参考訳（メタデータ） (2020-06-08T00:28:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。