論文の概要: Minimizing the Thompson Sampling Regret-to-Sigma Ratio (TS-RSR): a
provably efficient algorithm for batch Bayesian Optimization
- arxiv url: http://arxiv.org/abs/2403.04764v1
- Date: Thu, 7 Mar 2024 18:58:26 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-08 12:58:06.010598
- Title: Minimizing the Thompson Sampling Regret-to-Sigma Ratio (TS-RSR): a
provably efficient algorithm for batch Bayesian Optimization
- Title(参考訳): Thompson Smpling Regret-to-Sigma Ratio (TS-RSR): バッチベイズ最適化のための証明可能なアルゴリズム
- Authors: Zhaolin Ren and Na Li
- Abstract要約: 我々の目標は、不確実点間の冗長性を最小化する方法で、各バッチで選択されたアクションを調整できることです。
予測バッチアルゴリズムにおいて、最先端の理論的保証を提供する。
- 参考スコア(独自算出の注目度): 5.461310760509014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents a new approach for batch Bayesian Optimization (BO),
where the sampling takes place by minimizing a Thompson Sampling approximation
of a regret to uncertainty ratio. Our objective is able to coordinate the
actions chosen in each batch in a way that minimizes redundancy between points
whilst focusing on points with high predictive means or high uncertainty. We
provide high-probability theoretical guarantees on the regret of our algorithm.
Finally, numerically, we demonstrate that our method attains state-of-the-art
performance on a range of nonconvex test functions, where it outperforms
several competitive benchmark batch BO algorithms by an order of magnitude on
average.
- Abstract(参考訳): 本稿では,バッチベイズ最適化(bo)のための新しい手法を提案する。この手法では,不確実性に対する後悔の近似を最小化することでサンプリングを行う。
我々の目標は、高い予測手段や高い不確実性のある点に着目しながら、ポイント間の冗長性を最小化する方法で、各バッチで選択されたアクションを調整することである。
我々はアルゴリズムの後悔に対して高い確率理論的保証を提供する。
最後に,本手法が非凸テスト関数の範囲において最先端性能を達成できることを数値的に示し,競合ベンチマークバッチboアルゴリズムを平均1桁上回った。
関連論文リスト
- Efficient Robust Bayesian Optimization for Arbitrary Uncertain Inputs [13.578262325229161]
本稿では,任意の入力不確実性の下で一貫して動作するロバストな最適化アルゴリズムであるAIRBOを提案する。
提案手法は,最大平均離散度(MMD)を用いてガウス過程を有効化することにより任意の分布の不確実な入力を直接モデル化し,さらにNystrom近似による後部推論を高速化する。
MMD推定誤差と合成関数および実問題に関する広範な実験により,本手法が様々な入力不確実性に対処し,最先端の性能を実現することができることを示す。
論文 参考訳(メタデータ) (2023-10-31T03:29:31Z) - Robust Stochastic Optimization via Gradient Quantile Clipping [1.90365714903665]
グラディエントDescent(SGD)のための量子クリッピング戦略を導入する。
通常のクリッピングチェーンとして、グラデーション・ニュー・アウトリージを使用します。
本稿では,Huberiles を用いたアルゴリズムの実装を提案する。
論文 参考訳(メタデータ) (2023-09-29T15:24:48Z) - Outlier-Robust Sparse Estimation via Non-Convex Optimization [73.18654719887205]
空間的制約が存在する場合の高次元統計量と非破壊的最適化の関連について検討する。
これらの問題に対する新規で簡単な最適化法を開発した。
結論として、効率よくステーションに収束する一階法は、これらのタスクに対して効率的なアルゴリズムを導出する。
論文 参考訳(メタデータ) (2021-09-23T17:38:24Z) - Differentiable Annealed Importance Sampling and the Perils of Gradient
Noise [68.44523807580438]
Annealed importance sample (AIS) と関連するアルゴリズムは、限界推定のための非常に効果的なツールである。
差別性は、目的として限界確率を最適化する可能性を認めるため、望ましい性質である。
我々はメトロポリス・ハスティングスのステップを放棄して微分可能アルゴリズムを提案し、ミニバッチ計算をさらに解き放つ。
論文 参考訳(メタデータ) (2021-07-21T17:10:14Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - Experimental Design for Regret Minimization in Linear Bandits [19.8309784360219]
オンライン・リニア・バンドレットにおける後悔を最小限に抑える設計に基づく新しいアルゴリズムを提案する。
我々は、現在最先端の有限時間後悔保証を提供し、このアルゴリズムが帯域幅と半帯域幅の両方のフィードバックシステムに適用可能であることを示す。
論文 参考訳(メタデータ) (2020-11-01T17:59:19Z) - Optimal quantisation of probability measures using maximum mean
discrepancy [10.29438865750845]
何人かの研究者は、確率測度を定量化する方法として、最大平均誤差 (MMD) の最小化を提案している。
離散的候補集合よりもMDDを優しく最小化する逐次アルゴリズムを考える。
本手法を各反復時の候補集合のミニバッチに適用する変種について検討する。
論文 参考訳(メタデータ) (2020-10-14T13:09:48Z) - Large-Scale Methods for Distributionally Robust Optimization [53.98643772533416]
我々のアルゴリズムは、トレーニングセットのサイズとパラメータの数によらず、多くの評価勾配を必要とすることを証明している。
MNIST と ImageNet の実験により,本手法の 9-36 倍の効率性を持つアルゴリズムの理論的スケーリングが確認された。
論文 参考訳(メタデータ) (2020-10-12T17:41:44Z) - Adaptive Sampling for Best Policy Identification in Markov Decision
Processes [79.4957965474334]
本稿では,学習者が生成モデルにアクセスできる場合の,割引マルコフ決定(MDP)における最良の政治的識別の問題について検討する。
最先端アルゴリズムの利点を論じ、解説する。
論文 参考訳(メタデータ) (2020-09-28T15:22:24Z) - Exploiting Higher Order Smoothness in Derivative-free Optimization and
Continuous Bandits [99.70167985955352]
強凸関数のゼロ次最適化問題について検討する。
予測勾配降下アルゴリズムのランダム化近似を考察する。
その結果,0次アルゴリズムはサンプルの複雑性や問題パラメータの点でほぼ最適であることが示唆された。
論文 参考訳(メタデータ) (2020-06-14T10:42:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。