論文の概要: Bayesian Active Learning with Fully Bayesian Gaussian Processes
- arxiv url: http://arxiv.org/abs/2205.10186v1
- Date: Fri, 20 May 2022 13:52:04 GMT
- ステータス: 処理完了
- システム内更新日: 2022-05-23 15:04:02.185708
- Title: Bayesian Active Learning with Fully Bayesian Gaussian Processes
- Title（参考訳）: 完全ベイズガウス過程を用いたベイズ能動的学習
- Authors: Christoffer Riis, Francisco N. Antunes, Frederik Boe H\"uttel, Carlos
Lima Azevedo, Francisco Camara Pereira
- Abstract要約: ラベル付きデータが乏しい、あるいは入手が難しいアクティブラーニングでは、このトレードオフを無視することは、非効率なクエリを引き起こす可能性がある。
取得関数にバイアス分散トレードオフを組み込むことで、不要で高価なデータラベリングが軽減されることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The bias-variance trade-off is a well-known problem in machine learning that
only gets more pronounced the less available data there is. In active learning,
where labeled data is scarce or difficult to obtain, neglecting this trade-off
can cause inefficient and non-optimal querying, leading to unnecessary data
labeling. In this paper, we focus on active learning with Gaussian Processes
(GPs). For the GP, the bias-variance trade-off is made by optimization of the
two hyperparameters: the length scale and noise-term. Considering that the
optimal mode of the joint posterior of the hyperparameters is equivalent to the
optimal bias-variance trade-off, we approximate this joint posterior and
utilize it to design two new acquisition functions. The first one is a Bayesian
variant of Query-by-Committee (B-QBC), and the second is an extension that
explicitly minimizes the predictive variance through a Query by Mixture of
Gaussian Processes (QB-MGP) formulation. Across six common simulators, we
empirically show that B-QBC, on average, achieves the best marginal likelihood,
whereas QB-MGP achieves the best predictive performance. We show that
incorporating the bias-variance trade-off in the acquisition functions
mitigates unnecessary and expensive data labeling.
- Abstract（参考訳）: バイアス分散トレードオフ(bias-variance trade-off)は、マシンラーニングでよく知られた問題である。
アクティブラーニングでは、ラベル付きデータを得るのが難しく、このトレードオフを無視すると非効率で最適でないクエリが発生し、不要なデータラベリングが発生する。
本稿では,ガウス過程(GP)を用いた能動的学習に焦点を当てる。
GPの場合、バイアス分散トレードオフは2つのハイパーパラメータ(長さスケールと雑音長)の最適化によって行われる。
ハイパーパラメーターの関節後部の最適モードが最適バイアス分散トレードオフと等価であることを考えると、この関節後部を近似して2つの新しい獲得関数を設計する。
1つは Query-by-Committee (B-QBC) のベイズ変種であり、もう1つは Query by Mixture of Gaussian Processes (QB-MGP) の定式化による予測分散を明示的に最小化する拡張である。
6つの一般的なシミュレータにおいて,B-QBCは平均的に最良辺縁率,QB-MGPは最良予測性能を示す。
取得関数にバイアス分散トレードオフを組み込むことで、不要で高価なデータラベリングが軽減されることを示す。
関連論文リスト
- BI-EqNO: Generalized Approximate Bayesian Inference with an Equivariant Neural Operator Framework [9.408644291433752]
一般化されたベイズ近似のための同変ニューラル演算系であるBI-EqNOを導入する。
BI-EqNOは、データ駆動トレーニングを通じて、条件付き観測データに基づいて事前を後方に変換する。
BI-EqNO の応用例は,(1) 回帰のための一般化ガウス過程 (gGP) と(2) 逐次データ同化のためのアンサンブルニューラルフィルタ (EnNF) の2つである。
論文 参考訳（メタデータ） (2024-10-21T18:39:16Z) - Towards Practical Preferential Bayesian Optimization with Skew Gaussian
Processes [8.198195852439946]
本稿では,信頼度が2対比較に限定される優先ベイズ最適化(BO)について検討する。
優越性BOの重要な課題は、優越性ガウス過程(GP)モデルを用いてフレキシブルな選好構造を表現することである。
本研究では,高い計算効率と低いサンプル複雑性を両立させる新しい手法を開発し,その効果を広範囲な数値実験により実証する。
論文 参考訳（メタデータ） (2023-02-03T03:02:38Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - Fantasizing with Dual GPs in Bayesian Optimization and Active Learning [14.050425158209826]
我々は,新たなファンタサイズデータに対処する能力を必要とするバッチ取得機能に焦点をあてる。
スパースデュアルGPパラメタライゼーションを用いることで、バッチサイズでの線形スケーリングと、非ガウス確率のワンステップ更新が得られる。
論文 参考訳（メタデータ） (2022-11-02T11:37:06Z) - Scalable Bayesian Transformed Gaussian Processes [10.33253403416662]
ベイズ変換ガウシアン過程(BTG)モデルは、ワープされたガウシアン過程(WGP)と完全に相反するベイズ変換ガウシアン過程(BTG)モデルである。
本稿では,BTGを用いた計算の原理的,高速な手法を提案する。
我々のフレームワークは、高速モデル予測とモデル選択の両方を可能にするために、二重スパース二次規則、厳密な量子境界、ランク1行列代数を使用する。
論文 参考訳（メタデータ） (2022-10-20T02:45:10Z) - Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。
トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。
1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
論文 参考訳（メタデータ） (2022-05-27T11:13:17Z) - Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。
本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。
BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文 参考訳（メタデータ） (2021-10-24T10:23:51Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Cauchy-Schwarz Regularized Autoencoder [68.80569889599434]
変分オートエンコーダ(VAE)は、強力で広く使われている生成モデルのクラスである。
GMMに対して解析的に計算できるCauchy-Schwarz分散に基づく新しい制約対象を導入する。
本研究の目的は,密度推定,教師なしクラスタリング,半教師なし学習,顔分析における変分自動エンコーディングモデルの改善である。
論文 参考訳（メタデータ） (2021-01-06T17:36:26Z) - Evaluating Prediction-Time Batch Normalization for Robustness under
Covariate Shift [81.74795324629712]
我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。
予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。
この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
論文 参考訳（メタデータ） (2020-06-19T05:08:43Z) - Approximate Inference for Fully Bayesian Gaussian Process Regression [11.47317712333228]
ガウス過程モデルにおける学習は、平均と共分散関数のハイパーパラメータの適応を通じて起こる。
textitFully Bayesian Process Regression (GPR) と呼ぶGPの階層的仕様において、後方超過パラメータを推論する別の学習方法がある。
ベンチマークデータセットを用いてベイズGPRの予測性能を解析する。
論文 参考訳（メタデータ） (2019-12-31T17:18:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。