論文の概要: Practical First-Order Bayesian Optimization Algorithms
- arxiv url: http://arxiv.org/abs/2306.10815v1
- Date: Mon, 19 Jun 2023 10:05:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 18:16:44.876828
- Title: Practical First-Order Bayesian Optimization Algorithms
- Title（参考訳）: 実用的な一階ベイズ最適化アルゴリズム
- Authors: Utkarsh Prakash, Aryan Chollera, Kushagra Khatwani, Prabuchandran K.
J. and Tejas Bodas
- Abstract要約: 本稿では,勾配GPからの情報を効率よく活用して,ゼロ勾配の潜在的な問合せ点を同定する,実用的なFOBOアルゴリズムのクラスを提案する。
提案アルゴリズムの性能をいくつかのテスト関数で検証し,提案アルゴリズムが最先端のFOBOアルゴリズムより優れていることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: First Order Bayesian Optimization (FOBO) is a sample efficient sequential
approach to find the global maxima of an expensive-to-evaluate black-box
objective function by suitably querying for the function and its gradient
evaluations. Such methods assume Gaussian process (GP) models for both, the
function and its gradient, and use them to construct an acquisition function
that identifies the next query point. In this paper, we propose a class of
practical FOBO algorithms that efficiently utilizes the information from the
gradient GP to identify potential query points with zero gradients. We
construct a multi-level acquisition function where in the first step, we
optimize a lower level acquisition function with multiple restarts to identify
potential query points with zero gradient value. We then use the upper level
acquisition function to rank these query points based on their function values
to potentially identify the global maxima. As a final step, the potential point
of maxima is chosen as the actual query point. We validate the performance of
our proposed algorithms on several test functions and show that our algorithms
outperform state-of-the-art FOBO algorithms. We also illustrate the application
of our algorithms in finding optimal set of hyper-parameters in machine
learning and in learning the optimal policy in reinforcement learning tasks.
- Abstract（参考訳）: 第一次ベイズ最適化 (first order bayesian optimization, fobo) は、関数とその勾配評価を適切に問合せすることにより、高価なブラックボックス目的関数の最大値を求めるためのサンプル効率的な逐次手法である。
このような方法では、関数とその勾配の両方に対してガウス過程(GP)モデルを仮定し、次のクエリポイントを識別する取得関数を構築する。
本稿では,勾配gpからの情報を効率的に活用し,勾配ゼロの潜在的問合せ点を同定する,実用的なfoboアルゴリズムのクラスを提案する。
まず,複数のリスタートを伴う下位レベル獲得関数を最適化し,勾配値ゼロの潜在的クエリポイントを識別するマルチレベル取得関数を構築する。
次に、上位レベル取得関数を使用して、これらのクエリポイントを関数値に基づいてランク付けし、大域的最大度を潜在的に識別する。
最後のステップとして、maxamaの潜在的なポイントを実際のクエリポイントとして選択する。
提案するアルゴリズムの性能を複数のテスト関数で検証し,本アルゴリズムがfoboアルゴリズムよりも優れていることを示す。
また,機械学習におけるハイパーパラメータの最適集合の発見や,強化学習タスクにおける最適ポリシーの学習におけるアルゴリズムの適用について述べる。
関連論文リスト
- Experience in Engineering Complex Systems: Active Preference Learning
with Multiple Outcomes and Certainty Levels [1.5257326975704795]
ブラックボックス最適化とは、目的関数と/または制約集合が未知、到達不能、あるいは存在しない問題を指す。
この特定の情報を活用するために、いわゆるActive Preference Learningと呼ばれるアルゴリズムが開発された。
我々のアプローチは、さらなる情報を効果的に活用できるような方法でアルゴリズムを拡張することを目的としている。
論文 参考訳（メタデータ） (2023-02-27T15:55:37Z) - Ensemble-based gradient inference for particle methods in optimization
and sampling [2.9005223064604078]
本稿では,関数評価とベイズ推定に基づく高次微分情報抽出手法を提案する。
我々は,この情報を用いて,アンサンブルに基づく数値法の改良を行い,最適化とサンプリングを行うことを提案する。
論文 参考訳（メタデータ） (2022-09-23T09:21:35Z) - Optimizing Bayesian acquisition functions in Gaussian Processes [0.0]
本稿では,最大改善確率や期待改善率などの異なる取得機能について分析する。
また, 時間分析とともに, 選択した初期試料の位置の重要性も示した。
論文 参考訳（メタデータ） (2021-11-09T03:25:15Z) - An Accelerated Variance-Reduced Conditional Gradient Sliding Algorithm
for First-order and Zeroth-order Optimization [111.24899593052851]
条件勾配アルゴリズム(Frank-Wolfeアルゴリズムとも呼ばれる)は、最近、機械学習コミュニティで人気を取り戻している。
ARCSは、ゼロ階最適化において凸問題を解く最初のゼロ階条件勾配スライディング型アルゴリズムである。
1次最適化では、ARCSの収束結果は、勾配クエリのオラクルの数で、従来のアルゴリズムよりも大幅に優れていた。
論文 参考訳（メタデータ） (2021-09-18T07:08:11Z) - Bayesian Algorithm Execution: Estimating Computable Properties of
Black-box Functions Using Mutual Information [78.78486761923855]
多くの現実世界では、T関数の評価の予算を考えると、高価なブラックボックス関数 f の性質を推測したい。
本稿では,アルゴリズムの出力に対して相互情報を最大化するクエリを逐次選択する手法InfoBAXを提案する。
これらの問題に対してInfoBAXは、元のアルゴリズムで要求されるより500倍少ないクエリをfに使用する。
論文 参考訳（メタデータ） (2021-04-19T17:22:11Z) - Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box
Optimization Framework [100.36569795440889]
この作業は、一階情報を必要としない零次最適化(ZO)の反復である。
座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
論文 参考訳（メタデータ） (2020-12-21T17:29:58Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳（メタデータ） (2020-06-14T10:42:23Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z) - Learning to be Global Optimizer [28.88646928299302]
いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。
学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
論文 参考訳（メタデータ） (2020-03-10T03:46:25Z) - Differentiable Top-k Operator with Optimal Transport [135.36099648554054]
SOFTトップk演算子は、エントロピック最適輸送(EOT)問題の解として、トップk演算の出力を近似する。
提案した演算子をk-アネレスト近傍およびビーム探索アルゴリズムに適用し,性能向上を示す。
論文 参考訳（メタデータ） (2020-02-16T04:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。