論文の概要: Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning

• arxiv url: http://arxiv.org/abs/2305.15612v3
• Date: Tue, 05 Nov 2024 23:14:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:21:32.006557
• Title: Density Ratio Estimation-based Bayesian Optimization with Semi-Supervised Learning
• Title（参考訳）: 半教師付き学習による密度比推定に基づくベイズ最適化
• Authors: Jungtaek Kim,
• Abstract要約: この課題を解決するために,半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案する。 本手法の実証的な結果といくつかの基本手法を,未ラベルの点サンプリングと固定サイズのプールを持つ2つの異なるシナリオで示す。
• 参考スコア（独自算出の注目度）: 5.346298077607419
• License:
• Abstract: Bayesian optimization has attracted huge attention from diverse research areas in science and engineering, since it is capable of efficiently finding a global optimum of an expensive-to-evaluate black-box function. In general, a probabilistic regression model is widely used as a surrogate function to model an explicit distribution over function evaluations given an input to estimate and a training dataset. Beyond the probabilistic regression-based methods, density ratio estimation-based Bayesian optimization has been suggested in order to estimate a density ratio of the groups relatively close and relatively far to a global optimum. Developing this line of research further, supervised classifiers are employed to estimate a class probability for the two groups instead of a density ratio. However, the supervised classifiers used in this strategy are prone to be overconfident for known knowledge on global solution candidates. Supposing that we have access to unlabeled points, e.g., predefined fixed-size pools, we propose density ratio estimation-based Bayesian optimization with semi-supervised learning to solve this challenge. Finally, we show the empirical results of our methods and several baseline methods in two distinct scenarios with unlabeled point sampling and a fixed-size pool and analyze the validity of our proposed methods in diverse experiments.
• Abstract（参考訳）: ベイズ最適化は、高価なブラックボックス関数のグローバルな最適化を効率的に見つけることができるため、科学と工学の様々な研究分野から大きな注目を集めている。 一般に、確率回帰モデル(probabilistic regression model)は、推定への入力とトレーニングデータセットが与えられた関数評価に対する明示的な分布をモデル化する代理関数として広く用いられている。 確率回帰に基づく手法の他に、密度比推定に基づくベイズ最適化(英語版)が提案され、大域的最適に相対的に近づき、相対的に遠い群の密度比を推定している。 この研究の行をさらに発展させ、教師付き分類器を用いて密度比の代わりに2つの群のクラス確率を推定する。 しかし、この戦略で使用される教師付き分類器は、グローバルソリューション候補に関する既知の知識を過信しがちである。 未ラベルの点(例えば、予め定義された固定サイズのプール)にアクセスできることを前提として、半教師付き学習を用いた密度比推定に基づくベイズ最適化を提案し、この問題を解決する。 最後に,未ラベル点サンプリングと固定サイズプールを用いた2つのシナリオにおいて,提案手法の実証実験結果といくつかの基本手法について述べるとともに,提案手法の有効性を多種多様な実験で分析した。

関連論文リスト

• An Asymptotically Optimal Coordinate Descent Algorithm for Learning Bayesian Networks from Gaussian Models [6.54203362045253]
  線形ガウス構造方程式モデルに基づいて連続観測データからネットワークを学習する問題について検討する。 本稿では,$ell$penalized max chanceの最適目標値に収束する新しい座標降下アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-08-21T20:18:03Z)
• Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
  異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。 異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
  論文  参考訳（メタデータ） (2024-04-24T09:04:36Z)
• On diffusion-based generative models and their error bounds: The log-concave case with full convergence estimates [5.13323375365494]
  我々は,強い対数対数データの下での拡散に基づく生成モデルの収束挙動を理論的に保証する。 スコア推定に使用される関数のクラスは、スコア関数上のリプシッツネスの仮定を避けるために、リプシッツ連続関数からなる。 この手法はサンプリングアルゴリズムにおいて最もよく知られた収束率をもたらす。
  論文  参考訳（メタデータ） (2023-11-22T18:40:45Z)
• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• A Mean Field Approach to Empirical Bayes Estimation in High-dimensional Linear Regression [8.345523969593492]
  高次元線形回帰における経験的ベイズ推定について検討する。 もともとCarbonetto and Stephens (2012) と Kim et al. (2022) で導入された変分経験ベイズアプローチを採用する。 これは、空間性のない高次元回帰設定において、最初の厳密な経験的ベイズ法を提供する。
  論文  参考訳（メタデータ） (2023-09-28T20:51:40Z)
• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Approximate Bayesian Optimisation for Neural Networks [6.921210544516486]
  モデル選択の重要性を強調するために、機械学習アルゴリズムを自動化するための一連の作業が行われた。 理想主義的な方法で解析的トラクタビリティと計算可能性を解決する必要性は、効率と適用性を確保することを可能にしている。
  論文  参考訳（メタデータ） (2021-08-27T19:03:32Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• BORE: Bayesian Optimization by Density-Ratio Estimation [34.22533785573784]
  我々は, クラス確率推定と密度比推定の関連に基づいて, 期待改良 (ei) 関数を二分分類問題として位置づけた。 この改革は、特に汎用性とスケーラビリティの観点から、多くの利点をもたらします。
  論文  参考訳（メタデータ） (2021-02-17T20:04:11Z)
• Efficient Ensemble Model Generation for Uncertainty Estimation with Bayesian Approximation in Segmentation [74.06904875527556]
  アンサンブルセグメンテーションモデルを構築するための汎用的で効率的なセグメンテーションフレームワークを提案する。 提案手法では,層選択法を用いて効率よくアンサンブルモデルを生成することができる。 また,新たな画素単位の不確実性損失を考案し,予測性能を向上する。
  論文  参考訳（メタデータ） (2020-05-21T16:08:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。