論文の概要: The Behavior and Convergence of Local Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2305.15572v3
- Date: Fri, 8 Mar 2024 21:39:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-13 17:28:27.916870
- Title: The Behavior and Convergence of Local Bayesian Optimization
- Title（参考訳）: 局所ベイズ最適化の挙動と収束性
- Authors: Kaiwen Wu, Kyurae Kim, Roman Garnett and Jacob R. Gardner
- Abstract要約: 局所最適化戦略は、従来のグローバル戦略と比較して高次元問題に対して強い経験的性能をもたらすことができる。
まず,局所的なアプローチの挙動を考察し,ガウス過程のサンプルパスの個々の局所解の統計値が,グローバルな手法から得られるであろうものと比較して驚くほど良好であることを示す。
- 参考スコア（独自算出の注目度）: 20.568490114736818
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A recent development in Bayesian optimization is the use of local
optimization strategies, which can deliver strong empirical performance on
high-dimensional problems compared to traditional global strategies. The "folk
wisdom" in the literature is that the focus on local optimization sidesteps the
curse of dimensionality; however, little is known concretely about the expected
behavior or convergence of Bayesian local optimization routines. We first study
the behavior of the local approach, and find that the statistics of individual
local solutions of Gaussian process sample paths are surprisingly good compared
to what we would expect to recover from global methods. We then present the
first rigorous analysis of such a Bayesian local optimization algorithm
recently proposed by M\"uller et al. (2021), and derive convergence rates in
both the noisy and noiseless settings.
- Abstract（参考訳）: ベイズ最適化の最近の発展は、従来のグローバル戦略と比較して高次元問題に対して強い経験的パフォーマンスを提供できる局所最適化戦略の利用である。
文学における「民族知恵」は、局所最適化の焦点が次元の呪いを横切ることであるが、ベイズ局所最適化ルーチンの期待された振る舞いや収束について具体的には知られていない。
まず, 局所的アプローチの挙動を調査し, ガウス過程のサンプルパスの個々の局所解の統計値が, グローバル手法からの回復を期待するものと比較して驚くほど良好であることを見出した。
次に,m\"uller et al. (2021) が最近提案したベイズ局所最適化アルゴリズムの最初の厳密な解析を行い,雑音と無雑音の両方において収束率を求める。
関連論文リスト
- Discovering Preference Optimization Algorithms with and for Large Language Models [50.843710797024805]
オフライン優先最適化は、LLM(Large Language Model)出力の品質を向上・制御するための重要な手法である。
我々は、人間の介入なしに、新しい最先端の選好最適化アルゴリズムを自動で発見する客観的発見を行う。
実験は、ロジスティックと指数的損失を適応的にブレンドする新しいアルゴリズムであるDiscoPOPの最先端性能を示す。
論文 参考訳（メタデータ） (2024-06-12T16:58:41Z) - Localized Zeroth-Order Prompt Optimization [54.964765668688806]
そこで我々は,ZOPO(Localized zeroth-order prompt optimization)という新しいアルゴリズムを提案する。
ZOPOはニューラル・タンジェント・カーネルをベースとしたガウス法を標準ゼロ階次最適化に取り入れ、高速な局所最適探索を高速化する。
注目すべきは、ZOPOは最適化性能とクエリ効率の両方の観点から、既存のベースラインを上回っていることだ。
論文 参考訳（メタデータ） (2024-03-05T14:18:15Z) - High-dimensional Bayesian Optimization via Covariance Matrix Adaptation
Strategy [16.521207412129833]
本稿では,CMA(Covariance Matrix Adaptation)戦略を用いて局所領域を定義する手法を提案する。
この探索分布に基づいて,大域的最適である確率の高いデータポイントからなる局所領域を定義する。
提案手法は,BO,TuRBO,BAxUSなどの既存のブラックボックスBOを組み込んでグローバルな最適解を求めるメタアルゴリズムとして機能する。
論文 参考訳（メタデータ） (2024-02-05T15:32:10Z) - LABCAT: Locally adaptive Bayesian optimization using principal-component-aligned trust regions [0.0]
信頼領域に基づくBOを拡張した LABCAT アルゴリズムを提案する。
このアルゴリズムは、最先端のBOや他のブラックボックス最適化アルゴリズムよりも優れていることを示す。
論文 参考訳（メタデータ） (2023-11-19T13:56:24Z) - Learning Regions of Interest for Bayesian Optimization with Adaptive
Level-Set Estimation [84.0621253654014]
本稿では,高信頼領域を適応的にフィルタするBALLETというフレームワークを提案する。
理論的には、BALLETは探索空間を効率的に縮小することができ、標準BOよりも厳密な後悔を示すことができる。
論文 参考訳（メタデータ） (2023-07-25T09:45:47Z) - A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。
このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
論文 参考訳（メタデータ） (2022-11-26T09:06:15Z) - Optimistic Optimization of Gaussian Process Samples [30.226274682578172]
競合する、計算的により効率的でグローバルな最適化フレームワークは楽観的な最適化であり、これは探索空間の幾何学に関する事前知識を相似関数として利用している。
幾何的探索と確率的探索の間には新たな研究領域があり、ベイズ最適化の重要な機能を保ちながら、従来のベイズ最適化よりも大幅に高速に実行される方法がある。
論文 参考訳（メタデータ） (2022-09-02T09:06:24Z) - Escaping Saddle Points with Bias-Variance Reduced Local Perturbed SGD
for Communication Efficient Nonconvex Distributed Learning [58.79085525115987]
ローカル手法は通信時間を短縮する有望なアプローチの1つである。
局所的データセットが局所的損失の滑らかさよりも小さい場合,通信の複雑さは非局所的手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2022-02-12T15:12:17Z) - Convergence of adaptive algorithms for weakly convex constrained
optimization [59.36386973876765]
モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。
我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
論文 参考訳（メタデータ） (2020-06-11T17:43:19Z) - Global Optimization of Gaussian processes [52.77024349608834]
少数のデータポイントで学習したガウス過程を訓練した空間定式化を提案する。
このアプローチはまた、より小さく、計算的にもより安価なサブソルバを低いバウンディングに導く。
提案手法の順序の順序による時間収束を,総じて低減する。
論文 参考訳（メタデータ） (2020-05-21T20:59:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。