Fugu-MT 論文翻訳(概要): Global Optimization of Gaussian processes

論文の概要: Global Optimization of Gaussian processes

arxiv url: http://arxiv.org/abs/2005.10902v1
Date: Thu, 21 May 2020 20:59:11 GMT
ステータス: 処理完了
システム内更新日: 2022-11-30 23:13:25.963412
Title: Global Optimization of Gaussian processes
Title（参考訳）: ガウス過程の大域的最適化
Authors: Artur M. Schweidtmann, Dominik Bongartz, Daniel Grothe, Tim Kerkenhoff, Xiaopeng Lin, Jaromil Najman, Alexander Mitsos
Abstract要約: 少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。提案手法の順序の順序による時間収束を,総じて低減する。
参考スコア（独自算出の注目度）: 52.77024349608834
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Gaussian processes~(Kriging) are interpolating data-driven models that are frequently applied in various disciplines. Often, Gaussian processes are trained on datasets and are subsequently embedded as surrogate models in optimization problems. These optimization problems are nonconvex and global optimization is desired. However, previous literature observed computational burdens limiting deterministic global optimization to Gaussian processes trained on few data points. We propose a reduced-space formulation for deterministic global optimization with trained Gaussian processes embedded. For optimization, the branch-and-bound solver branches only on the degrees of freedom and McCormick relaxations are propagated through explicit Gaussian process models. The approach also leads to significantly smaller and computationally cheaper subproblems for lower and upper bounding. To further accelerate convergence, we derive envelopes of common covariance functions for GPs and tight relaxations of acquisition functions used in Bayesian optimization including expected improvement, probability of improvement, and lower confidence bound. In total, we reduce computational time by orders of magnitude compared to state-of-the-art methods, thus overcoming previous computational burdens. We demonstrate the performance and scaling of the proposed method and apply it to Bayesian optimization with global optimization of the acquisition function and chance-constrained programming. The Gaussian process models, acquisition functions, and training scripts are available open-source within the "MeLOn - Machine Learning Models for Optimization" toolbox~(https://git.rwth-aachen.de/avt.svt/public/MeLOn).
Abstract（参考訳）: gaussian process~(kriging)は、さまざまな分野に頻繁に適用されるデータ駆動モデルを補間する。しばしば、ガウス過程はデータセットに基づいて訓練され、最適化問題において代理モデルとして組み込まれる。これらの最適化問題は非凸であり、グローバル最適化が望まれる。しかし、以前の文献では、決定論的大域的最適化を少数のデータポイントで訓練されたガウス過程に制限する計算負荷が観測された。本稿では,ガウス過程を組み込んだ決定論的大域最適化のための低空間定式化を提案する。最適化のために、分岐・境界ソルバは自由度にのみ分岐し、マコーミック緩和は明示的なガウス過程モデルを通じて伝播する。このアプローチはまた、より小さく、計算的に安価なサブプロブレムを下界と上界に導く。さらに収束を加速するために,gpsにおける共通共分散関数の包含と,期待値の改善,改善確率,信頼度率の低下などベイズ最適化に使用される獲得関数の厳密な緩和を導出する。総じて計算時間を最先端法と比較して桁違いに削減し,従来の計算負荷を克服した。提案手法の性能とスケーリングを実証し,獲得関数のグローバル最適化と確率制約型プログラミングを用いてベイズ最適化に適用する。ガウスのプロセスモデル、取得関数、トレーニングスクリプトは、"MeLOn - Machine Learning Models for Optimization"ツールボックス~(https://git.rwth-aachen.de/avt.svt/public/MeLOn)でオープンソース公開されている。

関連論文リスト

Sample-efficient Bayesian Optimisation Using Known Invariances [56.34916328814857]
バニラと制約付きBOアルゴリズムは、不変目的を最適化する際の非効率性を示す。我々はこれらの不変カーネルの最大情報ゲインを導出する。核融合炉用電流駆動システムの設計に本手法を用い, 高性能溶液の探索を行った。
論文参考訳（メタデータ） (2024-10-22T12:51:46Z)
Global Optimization of Gaussian Process Acquisition Functions Using a Piecewise-Linear Kernel Approximation [2.3342885570554652]
本稿では,プロセスカーネルに対する一括近似と,取得関数に対するMIQP表現を紹介する。我々は,合成関数,制約付きベンチマーク,ハイパーチューニングタスクに関するフレームワークを実証的に実証した。
論文参考訳（メタデータ） (2024-10-22T10:56:52Z)
Enhancing Gaussian Process Surrogates for Optimization and Posterior Approximation via Random Exploration [2.984929040246293]
ガウス過程シュロゲートモデルの精度を高めるために、ランダムな探索ステップに依存する新しいノイズフリーベイズ最適化戦略。新しいアルゴリズムは、古典的なGP-UCBの実装の容易さを維持しているが、さらなる探索がそれらの収束を促進する。
論文参考訳（メタデータ） (2024-01-30T14:16:06Z)
Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
論文参考訳（メタデータ） (2022-12-21T06:10:12Z)
Gaussian Processes and Statistical Decision-making in Non-Euclidean Spaces [96.53463532832939]
我々はガウス過程の適用性を高める技術を開発した。この観点から構築した効率的な近似を幅広く導入する。非ユークリッド空間上のガウス過程モデルの集合を開発する。
論文参考訳（メタデータ） (2022-02-22T01:42:57Z)
Reducing the Variance of Gaussian Process Hyperparameter Optimization with Preconditioning [54.01682318834995]
プレコンディショニングは、行列ベクトル乗算を含む反復的な方法にとって非常に効果的なステップである。プレコンディショニングには、これまで検討されていなかった付加的なメリットがあることを実証する。基本的に無視可能なコストで、同時に分散を低減することができる。
論文参考訳（メタデータ） (2021-07-01T06:43:11Z)
Hyper-optimization with Gaussian Process and Differential Evolution Algorithm [0.0]
本稿では,利用可能な科学図書館のガウス過程最適化コンポーネントの具体的修正について述べる。提示された修正はBlackBox 2020チャレンジに提出され、従来の最適化ライブラリを上回った。
論文参考訳（メタデータ） (2021-01-26T08:33:00Z)
Recent Theoretical Advances in Non-Convex Optimization [56.88981258425256]
近年、深層ネットワークにおける非最適化アルゴリズムの解析やデータ問題への関心が高まっており、非最適化のための理論的最適化アルゴリズムの最近の結果の概要を概説する。
論文参考訳（メタデータ） (2020-12-11T08:28:51Z)
Real-Time Optimization Meets Bayesian Optimization and Derivative-Free Optimization: A Tale of Modifier Adaptation [0.0]
本稿では,不確実なプロセスのリアルタイム最適化において,プラントモデルミスマッチを克服するための修飾子適応方式について検討する。提案したスキームは物理モデルを組み込んでおり、探査中のリスクを最小限に抑えるために信頼領域のアイデアに依存している。取得関数の使用、プロセスノイズレベルを知る、または名目上のプロセスモデルを指定する利点を図示する。
論文参考訳（メタデータ） (2020-09-18T12:57:17Z)
A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
論文参考訳（メタデータ） (2020-06-11T06:50:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。