論文の概要: Optimizing Posterior Samples for Bayesian Optimization via Rootfinding
- arxiv url: http://arxiv.org/abs/2410.22322v2
- Date: Mon, 09 Dec 2024 21:13:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-11 14:34:24.032677
- Title: Optimizing Posterior Samples for Bayesian Optimization via Rootfinding
- Title（参考訳）: Rootfindingによるベイズ最適化のための後部サンプルの最適化
- Authors: Taiwo A. Adebiyi, Bach Do, Ruda Zhang,
- Abstract要約: 我々は,グローバルなルートフィンディングに基づく後方サンプルの効率的な大域的最適化手法を提案する。
注目すべきは、各集合から 1 点しか持たなくても、大域的最適度は大抵の場合発見されることである。
提案手法は,エントロピー探索の変種など,他の後部サンプルベース獲得関数の性能も向上する。
- 参考スコア（独自算出の注目度）: 2.94944680995069
- License:
- Abstract: Bayesian optimization devolves the global optimization of a costly objective function to the global optimization of a sequence of acquisition functions. This inner-loop optimization can be catastrophically difficult if it involves posterior sample paths, especially in higher dimensions. We introduce an efficient global optimization strategy for posterior samples based on global rootfinding. It provides gradient-based optimizers with two sets of judiciously selected starting points, designed to combine exploration and exploitation. The number of starting points can be kept small without sacrificing optimization quality. Remarkably, even with just one point from each set, the global optimum is discovered most of the time. The algorithm scales practically linearly to high dimensions, breaking the curse of dimensionality. For Gaussian process Thompson sampling (GP-TS), we demonstrate remarkable improvement in both inner- and outer-loop optimization, surprisingly outperforming alternatives like EI and GP-UCB in most cases. Our approach also improves the performance of other posterior sample-based acquisition functions, such as variants of entropy search. Furthermore, we propose a sample-average formulation of GP-TS, which has a parameter to explicitly control exploitation and can be computed at the cost of one posterior sample. Our implementation is available at https://github.com/UQUH/TSRoots .
- Abstract（参考訳）: ベイズ最適化は、コストのかかる目的関数のグローバルな最適化と、一連の取得関数のグローバルな最適化を包含する。
このインナーループ最適化は、特に高次元の後部サンプルパスを含む場合、破滅的に難しい。
我々は,グローバルなルートフィンディングに基づく後方サンプルの効率的な大域的最適化手法を提案する。
勾配に基づくオプティマイザに、探索と搾取を組み合わせた2組の司法的に選択された出発点を提供する。
最適化品質を犠牲にすることなく、開始点数を小さくすることができる。
注目すべきは、各集合から 1 点しか持たなくても、大域的最適度は大抵の場合発見されることである。
アルゴリズムは実質的に高次元に線形にスケールし、次元の呪いを破る。
ガウス過程トンプソンサンプリング(GP-TS)では、内ループ最適化と外ループ最適化の両方において顕著な改善が見られ、ほとんどの場合、EIやGP-UCBなどの代替よりも驚くほど優れていた。
提案手法は,エントロピー探索の変種など,他の後部サンプルベース獲得関数の性能も向上する。
さらに, GP-TSのサンプル平均定式化を提案し, エクスプロイトを明示的に制御するパラメータを持ち, 1つの後続サンプルのコストで計算できることを示した。
私たちの実装はhttps://github.com/UQUH/TSRootsで公開されています。
関連論文リスト
- Gaussian Process Thompson Sampling via Rootfinding [2.94944680995069]
トンプソンサンプリング(Thompson sample, TS)は、ベイズ決定における単純かつ効果的な政策である。
連続最適化では、目的関数の後方はしばしばガウス過程(GP)であり、サンプルパスは多数の局所最適値を持つ。
本稿では,勾配に基づくマルチスタートの開始点を慎重に選択するGP-TSの効率的なグローバル最適化手法を提案する。
論文 参考訳（メタデータ） (2024-10-10T16:06:45Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - Random Postprocessing for Combinatorial Bayesian Optimization [0.552480439325792]
ベイズ最適化における後処理法の効果を数値的に検討する。
ポストプロセッシング法は,グローバルな最適解を見つけるための逐次ステップの数を著しく削減する。
論文 参考訳（メタデータ） (2023-09-06T08:59:34Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - Surrogate modeling for Bayesian optimization beyond a single Gaussian
process [62.294228304646516]
本稿では,探索空間の活用と探索のバランスをとるための新しいベイズ代理モデルを提案する。
拡張性のある関数サンプリングを実現するため、GPモデル毎にランダムな特徴ベースのカーネル近似を利用する。
提案した EGP-TS を大域的最適に収束させるため,ベイズ的後悔の概念に基づいて解析を行う。
論文 参考訳（メタデータ） (2022-05-27T16:43:10Z) - LinEasyBO: Scalable Bayesian Optimization Approach for Analog Circuit
Synthesis via One-Dimensional Subspaces [11.64233949999656]
アナログ回路合成のための1次元部分空間による高速でロバストなベイズ最適化手法を提案する。
提案アルゴリズムは,バッチサイズが15のとき,LP-EIおよびREMBOpBOと比較して最大9倍,38倍の最適化手順を高速化できる。
論文 参考訳（メタデータ） (2021-09-01T21:25:25Z) - BOSH: Bayesian Optimization by Sampling Hierarchically [10.10241176664951]
本稿では,階層的なガウス過程と情報理論の枠組みを組み合わせたBOルーチンを提案する。
BOSHは, ベンチマーク, シミュレーション最適化, 強化学習, ハイパーパラメータチューニングタスクにおいて, 標準BOよりも効率的で高精度な最適化を実現する。
論文 参考訳（メタデータ） (2020-07-02T07:35:49Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z) - Incorporating Expert Prior in Bayesian Optimisation via Space Warping [54.412024556499254]
大きな探索空間では、アルゴリズムは関数の最適値に達する前に、いくつかの低関数値領域を通過する。
このコールドスタートフェーズの1つのアプローチは、最適化を加速できる事前知識を使用することである。
本稿では,関数の事前分布を通じて,関数の最適性に関する事前知識を示す。
先行分布は、探索空間を最適関数の高確率領域の周りに拡張し、最適関数の低確率領域の周りに縮小するようにワープする。
論文 参考訳（メタデータ） (2020-03-27T06:18:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。