論文の概要: Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes

• arxiv url: http://arxiv.org/abs/2203.01459v1
• Date: Wed, 2 Mar 2022 23:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-05 09:58:25.732282
• Title: Scalable Bayesian Optimization Using Vecchia Approximations of Gaussian Processes
• Title（参考訳）: ガウス過程のvecchia近似を用いたスケーラブルベイズ最適化
• Authors: Felix Jimenez, Matthias Katzfuss
• Abstract要約: 空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は、トンプソンサンプリングによる信頼領域ベイズ最適化における歪んだヴェッキアGPの使用に焦点を当てた。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian optimization is a technique for optimizing black-box target functions. At the core of Bayesian optimization is a surrogate model that predicts the output of the target function at previously unseen inputs to facilitate the selection of promising input values. Gaussian processes (GPs) are commonly used as surrogate models but are known to scale poorly with the number of observations. We adapt the Vecchia approximation, a popular GP approximation from spatial statistics, to enable scalable high-dimensional Bayesian optimization. We develop several improvements and extensions, including training warped GPs using mini-batch gradient descent, approximate neighbor search, and selecting multiple input values in parallel. We focus on the use of our warped Vecchia GP in trust-region Bayesian optimization via Thompson sampling. On several test functions and on two reinforcement-learning problems, our methods compared favorably to the state of the art.
• Abstract（参考訳）: ベイズ最適化はブラックボックス対象関数を最適化する手法である。 ベイズ最適化の核心は、期待できる入力値の選択を容易にするために、これまで見つからなかった入力で対象関数の出力を予測する代理モデルである。 ガウス過程 (GPs) は一般に代理モデルとして使用されるが、観測回数ではあまりスケールしないことが知られている。 空間統計学から一般的なGP近似であるVecchia近似を適用し、スケーラブルな高次元ベイズ最適化を実現する。 我々は,ミニバッチ勾配降下を用いたワープgpsの訓練,近似隣接探索,複数入力値の並列選択など,いくつかの改良と拡張を開発した。 我々は,thompson samplingによる信頼領域ベイズ最適化におけるvecchia gpの使用に注目した。 いくつかのテスト機能と2つの強化学習問題において,本手法は最先端技術と比較した。

関連論文リスト

• Optimizing Posterior Samples for Bayesian Optimization via Rootfinding [2.94944680995069]
  我々は,グローバルなルートフィンディングに基づく後方サンプルの効率的な大域的最適化手法を提案する。 内ループ最適化と外ループ最適化の両方において顕著な改善が示された。 GP-TSのサンプル平均定式化も提案する。
  論文  参考訳（メタデータ） (2024-10-29T17:57:16Z)
• Gaussian Process Thompson Sampling via Rootfinding [2.94944680995069]
  トンプソンサンプリング(Thompson sample, TS)は、ベイズ決定における単純かつ効果的な政策である。 連続最適化では、目的関数の後方はしばしばガウス過程(GP)であり、サンプルパスは多数の局所最適値を持つ。 本稿では,勾配に基づくマルチスタートの開始点を慎重に選択するGP-TSの効率的なグローバル最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-10-10T16:06:45Z)
• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Towards Learning Universal Hyperparameter Optimizers with Transformers [57.35920571605559]
  我々は,テキストベースのトランスフォーマーHPOフレームワークであるOptFormerを紹介した。 実験の結果,OptFormerは少なくとも7種類のHPOアルゴリズムを模倣できることがわかった。
  論文  参考訳（メタデータ） (2022-05-26T12:51:32Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)
• Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
  大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。 このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。 本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。 先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
  論文  参考訳（メタデータ） (2020-03-27T06:18:49Z)
• Sparse Gaussian Processes Revisited: Bayesian Approaches to Inducing-Variable Approximations [27.43948386608]
  変数の誘導に基づく変分推論手法はガウス過程(GP)モデルにおけるスケーラブルな推定のためのエレガントなフレームワークを提供する。 この研究において、変分フレームワークにおけるインプットの最大化は最適な性能をもたらすという共通の知恵に挑戦する。
  論文  参考訳（メタデータ） (2020-03-06T08:53:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。