論文の概要: Minimizing UCB: a Better Local Search Strategy in Local Bayesian Optimization

• arxiv url: http://arxiv.org/abs/2405.15285v1
• Date: Fri, 24 May 2024 07:17:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 15:50:32.673949
• Title: Minimizing UCB: a Better Local Search Strategy in Local Bayesian Optimization
• Title（参考訳）: ローカルベイズ最適化におけるローカル検索戦略の最小化
• Authors: Zheyi Fan, Wenyu Wang, Szu Hui Ng, Qingpei Hu,
• Abstract要約: 我々は、勾配降下法と上信頼境界(UCB)を最小化する手法の関係を発展させる。 GIBO における CB の最小化により勾配降下を最小化する局所ベイズ最適化アルゴリズム MinUCB を提案する。 提案手法は,異なる合成関数と実世界の関数に応用し,本手法の有効性を示す。
• 参考スコア（独自算出の注目度）: 9.120912236055544
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Local Bayesian optimization is a promising practical approach to solve the high dimensional black-box function optimization problem. Among them is the approximated gradient class of methods, which implements a strategy similar to gradient descent. These methods have achieved good experimental results and theoretical guarantees. However, given the distributional properties of the Gaussian processes applied on these methods, there may be potential to further exploit the information of the Gaussian processes to facilitate the BO search. In this work, we develop the relationship between the steps of the gradient descent method and one that minimizes the Upper Confidence Bound (UCB), and show that the latter can be a better strategy than direct gradient descent when a Gaussian process is applied as a surrogate. Through this insight, we propose a new local Bayesian optimization algorithm, MinUCB, which replaces the gradient descent step with minimizing UCB in GIBO. We further show that MinUCB maintains a similar convergence rate with GIBO. We then improve the acquisition function of MinUCB further through a look ahead strategy, and obtain a more efficient algorithm LA-MinUCB. We apply our algorithms on different synthetic and real-world functions, and the results show the effectiveness of our method. Our algorithms also illustrate improvements on local search strategies from an upper bound perspective in Bayesian optimization, and provides a new direction for future algorithm design.
• Abstract（参考訳）: 局所ベイズ最適化は高次元ブラックボックス関数最適化問題を解決するための有望な実用的な手法である。 そのうちの1つは、勾配降下に類似した戦略を実装する手法の近似勾配クラスである。 これらの手法は優れた実験結果と理論的保証を得た。 しかし、これらの方法に適用されたガウス過程の分布特性を考えると、ガウス過程の情報を利用してBO探索を促進する可能性がある。 本研究では,勾配降下法と上流信頼境界 (UCB) を最小化する手法の関係を考察し,ガウス過程を代理として適用した場合,後者が直接勾配降下よりも優れた戦略となることを示す。 そこで本研究では,局所ベイズ最適化アルゴリズムMinUCBを提案する。 さらに,MinUCBはGIBOと類似の収束率を維持していることを示す。 その後、先見戦略によりMinUCBの取得機能を改善し、より効率的なアルゴリズムLA-MinUCBを得る。 提案手法は,異なる合成関数と実世界の関数に応用し,本手法の有効性を示す。 提案アルゴリズムは,ベイズ最適化における上界視点からの局所探索戦略の改善を図示し,将来的なアルゴリズム設計のための新たな方向性を提供する。

関連論文リスト

• Provably Faster Algorithms for Bilevel Optimization via Without-Replacement Sampling [96.47086913559289]
  勾配に基づくアルゴリズムはバイレベル最適化に広く用いられている。 本研究では,より高速な収束率を実現する非置換サンプリングに基づくアルゴリズムを提案する。 合成および実世界の両方のアプリケーションに対してアルゴリズムを検証する。
  論文  参考訳（メタデータ） (2024-11-07T17:05:31Z)
• A Particle-based Sparse Gaussian Process Optimizer [5.672919245950197]
  本稿では,下降の動的過程を利用した新しいスワム・スワムベースのフレームワークを提案する。 このアプローチの最大の利点は、降下を決定する前に現在の状態についてより深い探索を行うことである。
  論文  参考訳（メタデータ） (2022-11-26T09:06:15Z)
• Improved Binary Forward Exploration: Learning Rate Scheduling Method for Stochastic Optimization [3.541406632811038]
  BFE(Binary Forward Exploration)と呼ばれる,学習速度の自動スケジューリングによる勾配に基づく新しい最適化手法が最近提案されている。 本稿では,提案手法の効率性とロバスト性を最適化するため,改良されたアルゴリズムについて検討する。 本手法の目的は,他者を倒すことではなく,勾配降下過程を最適化するための異なる視点を提供することである。
  論文  参考訳（メタデータ） (2022-07-09T05:28:44Z)
• Amortized Implicit Differentiation for Stochastic Bilevel Optimization [53.12363770169761]
  決定論的条件と決定論的条件の両方において、二段階最適化問題を解決するアルゴリズムのクラスについて検討する。 厳密な勾配の推定を補正するために、ウォームスタート戦略を利用する。 このフレームワークを用いることで、これらのアルゴリズムは勾配の偏りのない推定値にアクセス可能な手法の計算複雑性と一致することを示す。
  論文  参考訳（メタデータ） (2021-11-29T15:10:09Z)
• Bregman Gradient Policy Optimization [97.73041344738117]
  本稿では,Bregmanの発散と運動量に基づく強化学習のためのBregmanグラデーションポリシーの最適化を設計する。 VR-BGPOは、各イテレーションで1つの軌道のみを必要とする$epsilon$stationaryポイントを見つけるために、$tilde(epsilon-3)$で最高の複雑性に達する。
  論文  参考訳（メタデータ） (2021-06-23T01:08:54Z)
• Learning Sampling Policy for Faster Derivative Free Optimization [100.27518340593284]
  ランダムサンプリングではなく,ZO最適化における摂動を生成するためのサンプリングポリシを学習する,新たな強化学習ベースのZOアルゴリズムを提案する。 その結果,ZO-RLアルゴリズムはサンプリングポリシを学習することでZO勾配の分散を効果的に低減し,既存のZOアルゴリズムよりも高速に収束できることが示唆された。
  論文  参考訳（メタデータ） (2021-04-09T14:50:59Z)
• Zeroth-Order Hybrid Gradient Descent: Towards A Principled Black-Box Optimization Framework [100.36569795440889]
  この作業は、一階情報を必要としない零次最適化(ZO)の反復である。 座標重要度サンプリングにおける優雅な設計により,ZO最適化法は複雑度と関数クエリコストの両面において効率的であることを示す。
  論文  参考訳（メタデータ） (2020-12-21T17:29:58Z)
• Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search Spaces [63.22864716473051]
  本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。 理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
  論文  参考訳（メタデータ） (2020-09-05T14:24:40Z)
• An adaptive stochastic gradient-free approach for high-dimensional blackbox optimization [0.0]
  本研究では,高次元非平滑化問題に対する適応勾配フリー (ASGF) アプローチを提案する。 本稿では,グローバルな問題と学習タスクのベンチマークにおいて,本手法の性能について述べる。
  論文  参考訳（メタデータ） (2020-06-18T22:47:58Z)
• Learning to be Global Optimizer [28.88646928299302]
  いくつかのベンチマーク関数に対して最適なネットワークとエスケープ能力アルゴリズムを学習する。 学習したアルゴリズムは、よく知られた古典最適化アルゴリズムよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2020-03-10T03:46:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。