論文の概要: Batch Bayesian optimisation via density-ratio estimation with guarantees
- arxiv url: http://arxiv.org/abs/2209.10715v1
- Date: Thu, 22 Sep 2022 00:42:18 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-23 12:32:39.207534
- Title: Batch Bayesian optimisation via density-ratio estimation with guarantees
- Title（参考訳）: 保証付き密度比推定によるバッチベイズ最適化
- Authors: Rafael Oliveira, Louis Tiao and Fabio Ramos
- Abstract要約: 本稿では,BOREの後悔を理論的に分析し,不確実性の推定を改良したアルゴリズムの拡張について述べる。
また,BOREを近似ベイズ推論として再キャストすることにより,バッチ最適化設定に自然に拡張可能であることを示す。
- 参考スコア（独自算出の注目度）: 26.052368583196426
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimisation (BO) algorithms have shown remarkable success in
applications involving expensive black-box functions. Traditionally BO has been
set as a sequential decision-making process which estimates the utility of
query points via an acquisition function and a prior over functions, such as a
Gaussian process. Recently, however, a reformulation of BO via density-ratio
estimation (BORE) allowed reinterpreting the acquisition function as a
probabilistic binary classifier, removing the need for an explicit prior over
functions and increasing scalability. In this paper, we present a theoretical
analysis of BORE's regret and an extension of the algorithm with improved
uncertainty estimates. We also show that BORE can be naturally extended to a
batch optimisation setting by recasting the problem as approximate Bayesian
inference. The resulting algorithm comes equipped with theoretical performance
guarantees and is assessed against other batch BO baselines in a series of
experiments.
- Abstract（参考訳）: ベイズ最適化(bo)アルゴリズムは高価なブラックボックス関数を含むアプリケーションで顕著な成功を示している。
従来BOは、ガウス過程のような、取得関数と先行関数によるクエリポイントの有用性を推定するシーケンシャルな意思決定プロセスとして設定されてきた。
しかし近年、密度比推定(BORE)によるBOの再構成により、取得関数を確率的二項分類器として再解釈することができ、関数を明示的に優先する必要がなくなり、スケーラビリティが向上した。
本稿では,BOREの後悔とアルゴリズムの拡張に関する理論的解析を行い,不確実性の推定を改良した。
また,BOREを近似ベイズ推論として再キャストすることにより,バッチ最適化設定に自然に拡張可能であることを示す。
得られたアルゴリズムは理論的な性能保証を備えており、一連の実験で他のBOベースラインに対して評価される。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳（メタデータ） (2024-02-05T02:54:50Z) - Stochastic Bayesian Optimization with Unknown Continuous Context
Distribution via Kernel Density Estimation [28.413085548038932]
本稿では,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。
理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。
論文 参考訳（メタデータ） (2023-12-16T11:32:28Z) - Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - Generalizing Bayesian Optimization with Decision-theoretic Entropies [102.82152945324381]
統計的決定論の研究からシャノンエントロピーの一般化を考える。
まず,このエントロピーの特殊なケースがBO手順でよく用いられる獲得関数に繋がることを示す。
次に、損失に対する選択肢の選択が、どのようにして柔軟な獲得関数の族をもたらすかを示す。
論文 参考訳（メタデータ） (2022-10-04T04:43:58Z) - Batch Bayesian Optimization via Particle Gradient Flows [0.5735035463793008]
ブラックボックスとしてしか利用できない,あるいは評価に費用がかかる対象関数のグローバルな最適化方法を示す。
確率測度の空間上の多点予測確率に基づく新しい関数を構築する。
論文 参考訳（メタデータ） (2022-09-10T18:10:15Z) - Tree ensemble kernels for Bayesian optimization with known constraints
over mixed-feature spaces [54.58348769621782]
木アンサンブルはアルゴリズムチューニングやニューラルアーキテクチャ検索といったブラックボックス最適化タスクに適している。
ブラックボックス最適化にツリーアンサンブルを使うことの2つのよく知られた課題は、探索のためのモデル不確実性を効果的に定量化し、また、 (ii) ピースワイドな定値取得関数を最適化することである。
我々のフレームワークは、連続/離散的機能に対する非拘束ブラックボックス最適化のための最先端の手法と同様に、混合変数の特徴空間と既知の入力制約を組み合わせた問題の競合する手法よりも優れている。
論文 参考訳（メタデータ） (2022-07-02T16:59:37Z) - Trusted-Maximizers Entropy Search for Efficient Bayesian Optimization [39.824086260578646]
本稿では,信頼度最大化エントロピー探索(TES)取得関数を提案する。
インプットがクエリの情報ゲインにどの程度貢献するかを、信頼された最大値の有限セット上で測定する。
論文 参考訳（メタデータ） (2021-07-30T07:25:07Z) - BORE: Bayesian Optimization by Density-Ratio Estimation [34.22533785573784]
我々は, クラス確率推定と密度比推定の関連に基づいて, 期待改良 (ei) 関数を二分分類問題として位置づけた。
この改革は、特に汎用性とスケーラビリティの観点から、多くの利点をもたらします。
論文 参考訳（メタデータ） (2021-02-17T20:04:11Z) - Sub-linear Regret Bounds for Bayesian Optimisation in Unknown Search
Spaces [63.22864716473051]
本稿では,反復により探索空間を拡大(およびシフト)する新しいBOアルゴリズムを提案する。
理論的には、どちらのアルゴリズムにおいても、累積的後悔は線形以下の速度で増大する。
論文 参考訳（メタデータ） (2020-09-05T14:24:40Z) - Randomised Gaussian Process Upper Confidence Bound for Bayesian
Optimisation [60.93091603232817]
改良されたガウス過程上信頼境界(GP-UCB)取得関数を開発した。
これは、分布から探索・探索トレードオフパラメータをサンプリングすることによって行われる。
これにより、期待されるトレードオフパラメータが、関数のベイズ的後悔に縛られることなく、問題によりよく適合するように変更できることが証明される。
論文 参考訳（メタデータ） (2020-06-08T00:28:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。