論文の概要: Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation

• arxiv url: http://arxiv.org/abs/2410.16893v1
• Date: Tue, 22 Oct 2024 10:56:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:27:20.252099
• Title: Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation
• Title（参考訳）: Pecewise-Linear Kernel近似を用いたガウス過程獲得関数の大域的最適化
• Authors: Yilin Xie, Shiqiang Zhang, Joel Paulson, Calvin Tsay,
• Abstract要約: 本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。 我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
• 参考スコア（独自算出の注目度）: 2.3342885570554652
• License:
• Abstract: Bayesian optimization relies on iteratively constructing and optimizing an acquisition function. The latter turns out to be a challenging, non-convex optimization problem itself. Despite the relative importance of this step, most algorithms employ sampling- or gradient-based methods, which do not provably converge to global optima. This work investigates mixed-integer programming (MIP) as a paradigm for \textit{global} acquisition function optimization. Specifically, our Piecewise-linear Kernel Mixed Integer Quadratic Programming (PK-MIQP) formulation introduces a piecewise-linear approximation for Gaussian process kernels and admits a corresponding MIQP representation for acquisition functions. We analyze the theoretical regret bounds of the proposed approximation, and empirically demonstrate the framework on synthetic functions, constrained benchmarks, and a hyperparameter tuning task.
• Abstract（参考訳）: ベイズ最適化は、獲得関数を反復的に構築し、最適化することに依存する。 後者は難しい非凸最適化問題であることがわかった。 このステップの相対的な重要性にもかかわらず、ほとんどのアルゴリズムはサンプリング法や勾配法を採用しており、これは大域的最適に確実に収束しない。 本研究では, 混合整数プログラミング(MIP)を, \textit{global} 獲得関数最適化のパラダイムとして検討する。 具体的には、PK-MIQP(Piecewise-linear Kernel Mixed Integer Quadratic Programming)の定式化により、ガウスプロセスカーネルに対して一方向線形近似を導入し、取得関数に対する対応するMIQP表現を許容する。 提案した近似の理論的残差を解析し,合成関数,制約付きベンチマーク,ハイパーパラメータチューニングタスクの枠組みを実証的に実証する。

関連論文リスト

• Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
  ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。 新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
  論文  参考訳（メタデータ） (2024-01-30T14:16:06Z)
• ProGO: Probabilistic Global Optimizer [9.772380490791635]
  本稿では,いくつかの温和な条件下でのグローバルオプティマに収束するアルゴリズムを開発する。 提案アルゴリズムは,従来の最先端手法よりも桁違いに優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-04T22:23:40Z)
• Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
  オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。 我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。 これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-12-21T06:10:12Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• Surrogate modeling for Bayesian optimization beyond a single Gaussian process [62.294228304646516]
  本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。 拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。 提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
  論文  参考訳（メタデータ） (2022-05-27T16:43:10Z)
• Non-Convex Optimization with Certificates and Fast Rates Through Kernel Sums of Squares [68.8204255655161]
  非最適化近似問題を考える。 本稿では,最優先計算を保証するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-04-11T09:37:04Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Accelerated Algorithms for Convex and Non-Convex Optimization on Manifolds [9.632674803757475]
  距離における凸問題と非最適化問題の解法を提案する。 提案アルゴリズムは,目的関数における複雑性のレベルに適応する。
  論文  参考訳（メタデータ） (2020-10-18T02:48:22Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)
• Global Optimization of Gaussian processes [52.77024349608834]
  少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。 このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。 提案手法の順序の順序による時間収束を,総じて低減する。
  論文  参考訳（メタデータ） (2020-05-21T20:59:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。