論文の概要: A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance

• arxiv url: http://arxiv.org/abs/2010.13997v3
• Date: Fri, 29 Oct 2021 15:42:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-02 11:21:32.403661
• Title: A Domain-Shrinking based Bayesian Optimization Algorithm with Order-Optimal Regret Performance
• Title（参考訳）: 順序-最適レグレット性能を持つドメインシンキングに基づくベイズ最適化アルゴリズム
• Authors: Sudeep Salgia, Sattar Vakili, Qing Zhao
• Abstract要約: これはGPに基づく最初のアルゴリズムであり、順序最適化された後悔の保証がある。 GP-UCB系のアルゴリズムと比較して,提案アルゴリズムは計算複雑性を$O(T2d-1)$で低減する。
• 参考スコア（独自算出の注目度）: 16.0251555430107
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider sequential optimization of an unknown function in a reproducing kernel Hilbert space. We propose a Gaussian process-based algorithm and establish its order-optimal regret performance (up to a poly-logarithmic factor). This is the first GP-based algorithm with an order-optimal regret guarantee. The proposed algorithm is rooted in the methodology of domain shrinking realized through a sequence of tree-based region pruning and refining to concentrate queries in increasingly smaller high-performing regions of the function domain. The search for high-performing regions is localized and guided by an iterative estimation of the optimal function value to ensure both learning efficiency and computational efficiency. Compared with the prevailing GP-UCB family of algorithms, the proposed algorithm reduces computational complexity by a factor of $O(T^{2d-1})$ (where $T$ is the time horizon and $d$ the dimension of the function domain).
• Abstract（参考訳）: 再生カーネルヒルベルト空間における未知関数の逐次最適化を考える。 ガウス過程に基づくアルゴリズムを提案し,その順序-最適後悔性能(多対数因子まで)を確立する。 これはgpに基づく最初のオーダー最適後悔保証アルゴリズムである。 提案アルゴリズムは,関数領域のより小さな高パフォーマンス領域にクエリを集中させるために,ツリーベース領域プルーニングと精製によって実現された領域縮小の手法に根ざしている。 高パフォーマンス領域の探索は、学習効率と計算効率の両方を確保するために、最適関数値の反復推定により局所化およびガイドされる。 GP-UCB系のアルゴリズムと比較して、提案アルゴリズムは計算複雑性を$O(T^{2d-1})$(ここでは$T$は時間地平線、$d$は関数領域の次元)で低減する。

関連論文リスト

• Efficient Lipschitzian Global Optimization of H\"older Continuous Multivariate Functions [0.0]
  本研究では,H"より古い連続な多変量関数に対して,効率的な大域的最適化手法を提案する。 このアルゴリズムは,H"older $alpha$でH"older連続目標関数を与えられた時間的地平線内の$n$次元空間で最適化するために,平均的残差$O(T-fracalphan)$に達することを示す。
  論文  参考訳（メタデータ） (2023-03-24T22:29:35Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• An Algebraically Converging Stochastic Gradient Descent Algorithm for Global Optimization [14.336473214524663]
  アルゴリズムの主要な構成要素は、目的関数の値に基づくランダム性である。 アルゴリズムの収束を代数学で証明し、パラメータ空間でチューニングする。 アルゴリズムの効率性とロバスト性を示す数値的な例をいくつか提示する。
  論文  参考訳（メタデータ） (2022-04-12T16:27:49Z)
• Regret Bounds for Expected Improvement Algorithms in Gaussian Process Bandit Optimization [63.8557841188626]
  期待されている改善(EI)アルゴリズムは、不確実性の下で最適化するための最も一般的な戦略の1つである。 本稿では,GP予測平均を通した標準既存値を持つEIの変種を提案する。 我々のアルゴリズムは収束し、$mathcal O(gamma_TsqrtT)$の累積後悔境界を達成することを示す。
  論文  参考訳（メタデータ） (2022-03-15T13:17:53Z)
• Ada-BKB: Scalable Gaussian Process Optimization on Continuous Domain by Adaptive Discretization [21.859940486704264]
  GPUCBのようなアルゴリズムは計算の複雑さを禁止している。 関数のノアアルゴリズムは、連続最適化の真の問題を裏付ける。
  論文  参考訳（メタデータ） (2021-06-16T07:55:45Z)
• Provably Faster Algorithms for Bilevel Optimization [54.83583213812667]
  バイレベル最適化は多くの重要な機械学習アプリケーションに広く適用されている。 両レベル最適化のための2つの新しいアルゴリズムを提案する。 両アルゴリズムが$mathcalO(epsilon-1.5)$の複雑さを達成し,既存のアルゴリズムを桁違いに上回っていることを示す。
  論文  参考訳（メタデータ） (2021-06-08T21:05:30Z)
• Sequential Subspace Search for Functional Bayesian Optimization Incorporating Experimenter Intuition [63.011641517977644]
  本アルゴリズムは,実験者のガウス過程から引き出された一組の引き数で区切られた関数空間の有限次元ランダム部分空間列を生成する。 標準ベイズ最適化は各部分空間に適用され、次の部分空間の出発点(オリジン)として用いられる最良の解である。 シミュレーションおよび実世界の実験,すなわちブラインド関数マッチング,アルミニウム合金の最適析出強化関数の探索,深層ネットワークの学習速度スケジュール最適化において,本アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2020-09-08T06:54:11Z)
• Optimal and Practical Algorithms for Smooth and Strongly Convex Decentralized Optimization [21.555331273873175]
  ネットワークのノードにまたがるスムーズな凸関数の和を分散化最小化する作業について検討する。 本稿では,この分散最適化問題に対する2つの新しいアルゴリズムを提案し,複雑性を保証する。
  論文  参考訳（メタデータ） (2020-06-21T11:23:20Z)
• Exploiting Higher Order Smoothness in Derivative-free Optimization and Continuous Bandits [99.70167985955352]
  強凸関数のゼロ次最適化問題について検討する。 予測勾配降下アルゴリズムのランダム化近似を考察する。 その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
  論文  参考訳（メタデータ） (2020-06-14T10:42:23Z)
• Private Stochastic Convex Optimization: Optimal Rates in Linear Time [74.47681868973598]
  本研究では,凸損失関数の分布から得られた個体群損失を最小化する問題について検討する。 Bassilyらによる最近の研究は、$n$のサンプルを与えられた過剰な人口損失の最適境界を確立している。 本稿では,余剰損失に対する最適境界を達成するとともに,$O(minn, n2/d)$グラデーション計算を用いて凸最適化アルゴリズムを導出する2つの新しい手法について述べる。
  論文  参考訳（メタデータ） (2020-05-10T19:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。