論文の概要: Density Ratio Estimation-based Bayesian Optimization with
Semi-Supervised Learning
- arxiv url: http://arxiv.org/abs/2305.15612v2
- Date: Fri, 6 Oct 2023 17:13:24 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-13 12:14:43.793316
- Title: Density Ratio Estimation-based Bayesian Optimization with
Semi-Supervised Learning
- Title(参考訳): 半教師付き学習による密度比推定に基づくベイズ最適化
- Authors: Jungtaek Kim
- Abstract要約: 半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。
本研究では,未ラベル点サンプリングと固定サイズのプールを用いた2つの異なるシナリオにおいて,本手法といくつかの基本手法の実験結果を示す。
- 参考スコア(独自算出の注目度): 5.346298077607419
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Bayesian optimization has attracted huge attention from diverse research
areas in science and engineering, since it is capable of finding a global
optimum of an expensive-to-evaluate black-box function efficiently. In general,
a probabilistic regression model, e.g., Gaussian processes and Bayesian neural
networks, is widely used as a surrogate function to model an explicit
distribution over function evaluations given an input to estimate and a
training dataset. Beyond the probabilistic regression-based Bayesian
optimization, density ratio estimation-based Bayesian optimization has been
suggested in order to estimate a density ratio of the groups relatively close
and relatively far to a global optimum. Developing this line of research
further, a supervised classifier can be employed to estimate a class
probability for the two groups instead of a density ratio. However, the
supervised classifiers used in this strategy are prone to be overconfident for
a global solution candidate. To solve this problem, we propose density ratio
estimation-based Bayesian optimization with semi-supervised learning. Finally,
we demonstrate the experimental results of our methods and several baseline
methods in two distinct scenarios with unlabeled point sampling and a
fixed-size pool.
- Abstract(参考訳): ベイズ最適化は、高価なブラックボックス関数のグローバル最適化を効率的に見つけることができるため、科学と工学の様々な研究分野から大きな注目を集めている。
一般に、確率的回帰モデル、例えばガウス過程やベイズニューラルネットワークは、推定とトレーニングデータセットの入力が与えられた関数評価の明示的な分布をモデル化する代理関数として広く使われている。
確率的回帰に基づくベイズ最適化以外にも, 密度比推定に基づくベイズ最適化が提案されている。
この研究の行をさらに発展させ、教師付き分類器を用いて密度比の代わりに2つの群のクラス確率を推定することができる。
しかしながら、この戦略で使用される教師付き分類器は、グローバルソリューション候補に対して自信過剰である可能性が高い。
この問題を解決するために,半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。
最後に,未ラベル点サンプリングと固定サイズのプールを用いた2つの異なるシナリオにおいて,本手法といくつかの基本手法の実験結果を示す。
関連論文リスト
- Poisson Process for Bayesian Optimization [126.51200593377739]
本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。
従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
論文 参考訳(メタデータ) (2024-02-05T02:54:50Z) - Stochastic Bayesian Optimization with Unknown Continuous Context
Distribution via Kernel Density Estimation [28.413085548038932]
本稿では,カーネル密度推定を用いて連続文脈変数の確率密度関数(PDF)をオンラインで学習する2つのアルゴリズムを提案する。
理論的結果は、両方のアルゴリズムが期待する目的に対して準線形ベイズ累積後悔を持つことを示している。
論文 参考訳(メタデータ) (2023-12-16T11:32:28Z) - Provably Efficient Bayesian Optimization with Unbiased Gaussian Process
Hyperparameter Estimation [52.035894372374756]
目的関数の大域的最適値にサブ線形収束できる新しいBO法を提案する。
本手法では,BOプロセスにランダムなデータポイントを追加するために,マルチアームバンディット法 (EXP3) を用いる。
提案手法は, 様々な合成および実世界の問題に対して, 既存の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2023-06-12T03:35:45Z) - Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。
理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
論文 参考訳(メタデータ) (2021-08-27T19:03:32Z) - Variational Refinement for Importance Sampling Using the Forward
Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。
重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。
近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文 参考訳(メタデータ) (2021-06-30T11:00:24Z) - Bayesian Joint Chance Constrained Optimization: Approximations and
Statistical Consistency [10.20554144865699]
近似した後続分布を用いて計算した最適値の統計的整合性の問題に焦点をあてる。
また、近似最適化問題の実現可能性も証明する。
また,M/M/c待ち行列モデルに対する最適スタッフリング問題に対するアプローチの有用性を示す。
論文 参考訳(メタデータ) (2021-06-23T07:11:39Z) - Local policy search with Bayesian optimization [73.0364959221845]
強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。
局所探索のための政策勾配は、しばしばランダムな摂動から得られる。
目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
論文 参考訳(メタデータ) (2021-06-22T16:07:02Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - BORE: Bayesian Optimization by Density-Ratio Estimation [34.22533785573784]
我々は, クラス確率推定と密度比推定の関連に基づいて, 期待改良 (ei) 関数を二分分類問題として位置づけた。
この改革は、特に汎用性とスケーラビリティの観点から、多くの利点をもたらします。
論文 参考訳(メタデータ) (2021-02-17T20:04:11Z) - Efficient Ensemble Model Generation for Uncertainty Estimation with
Bayesian Approximation in Segmentation [74.06904875527556]
アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。
提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。
また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
論文 参考訳(メタデータ) (2020-05-21T16:08:38Z) - Uncertainty Quantification for Bayesian Optimization [12.433600693422235]
目的関数の最大点(あるいは値)の信頼領域を構築することにより、ベイズ最適化アルゴリズムの出力不確実性を評価する新しい手法を提案する。
我々の理論は、既存のシーケンシャルサンプリングポリシーと停止基準に対する統一的な不確実性定量化フレームワークを提供する。
論文 参考訳(メタデータ) (2020-02-04T22:48:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。