論文の概要: Minimum Excess Risk in Bayesian Learning
- arxiv url: http://arxiv.org/abs/2012.14868v1
- Date: Tue, 29 Dec 2020 17:41:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2021-04-18 23:53:35.904300
- Title: Minimum Excess Risk in Bayesian Learning
- Title（参考訳）: ベイズ学習における最小過剰リスク
- Authors: Aolin Xu, Maxim Raginsky
- Abstract要約: 最小超過リスク(mer)の定義と上限化により,生成モデルの下でベイズ学習の達成可能な最高の性能を解析する。
MERの定義は、ベイズ学習における不確実性の異なる概念を定義する原則的な方法を提供する。
- 参考スコア（独自算出の注目度）: 23.681494934015927
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We analyze the best achievable performance of Bayesian learning under
generative models by defining and upper-bounding the minimum excess risk (MER):
the gap between the minimum expected loss attainable by learning from data and
the minimum expected loss that could be achieved if the model realization were
known. The definition of MER provides a principled way to define different
notions of uncertainties in Bayesian learning, including the aleatoric
uncertainty and the minimum epistemic uncertainty. Two methods for deriving
upper bounds for the MER are presented. The first method, generally suitable
for Bayesian learning with a parametric generative model, upper-bounds the MER
by the conditional mutual information between the model parameters and the
quantity being predicted given the observed data. It allows us to quantify the
rate at which the MER decays to zero as more data becomes available. The second
method, particularly suitable for Bayesian learning with a parametric
predictive model, relates the MER to the deviation of the posterior predictive
distribution from the true predictive model, and further to the minimum
estimation error of the model parameters from data. It explicitly shows how the
uncertainty in model parameter estimation translates to the MER and to the
final prediction uncertainty. We also extend the definition and analysis of MER
to the setting with multiple parametric model families and the setting with
nonparametric models. Along the discussions we draw some comparisons between
the MER in Bayesian learning and the excess risk in frequentist learning.
- Abstract（参考訳）: 生成モデルにおけるベイズ学習の達成可能な最良性能を最小余剰リスク (MER) の定義と上界化により分析し,データから学習することで達成できる最小損失とモデルの実現が分かっていれば達成できる最小損失とのギャップを考察した。
MERの定義は、ベイズ学習における不確実性の異なる概念を定義するための原則化された方法を提供する。
MERの上界を導出する2つの方法を示す。
パラメトリック生成モデルを用いたベイズ学習に適した第1の方法は、モデルパラメータと観測データから予測される量との条件付き相互情報により、MERを上界に配置する。
これにより、より多くのデータが利用可能になるとmerがゼロに減衰する速度を定量化できます。
第2の方法は、特にパラメトリック予測モデルを用いたベイズ学習に適しており、MERは、真の予測モデルからの後方予測分布の偏差と、さらにデータからのモデルパラメータの最小推定誤差とを関連付ける。
モデルパラメータ推定の不確実性がMERや最終的な予測不確実性にどのように変換されるかを明確に示す。
また、MERの定義と分析を複数のパラメトリックモデルファミリの設定と非パラメトリックモデルの設定に拡張する。
議論の中で,ベイズ学習におけるmerと,頻繁学習における過剰リスクの比較を行った。
関連論文リスト
- Error Bounds of Supervised Classification from Information-Theoretic Perspective [0.0]
我々は、情報理論の観点から、教師付き分類にディープニューラルネットワークを使用する場合の予測リスクのバウンダリについて検討する。
経験的リスクをさらに分解したモデルリスクとフィッティングエラーを導入する。
論文 参考訳（メタデータ） (2024-06-07T01:07:35Z) - Performative Prediction with Neural Networks [24.880495520422]
パフォーマンス予測は、予測するデータに影響を与えるモデルを学習するためのフレームワークである。
繰り返しリスク最小化法を用いて、性能的に安定な分類器を見つけるための標準収束結果は、データの分布がモデルのパラメータに連続であることを仮定する。
この研究では、データ分布はモデルの予測に関してリプシッツ連続であると仮定する。
論文 参考訳（メタデータ） (2023-04-14T01:12:48Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - Prediction Errors for Penalized Regressions based on Generalized
Approximate Message Passing [0.0]
C_p$ criterion, Information criteria, and leave-one-out Cross Validation (LOOCV) error。
GAMPの枠組みでは,推定値の分散を利用して情報基準を表現できることが示されている。
論文 参考訳（メタデータ） (2022-06-26T09:42:39Z) - Uncertainty estimation of pedestrian future trajectory using Bayesian
approximation [137.00426219455116]
動的トラフィックシナリオでは、決定論的予測に基づく計画は信頼できない。
著者らは、決定論的アプローチが捉えられない近似を用いて予測中の不確実性を定量化する。
将来の状態の不確実性に対する降雨重量と長期予測の影響について検討した。
論文 参考訳（メタデータ） (2022-05-04T04:23:38Z) - Benign-Overfitting in Conditional Average Treatment Effect Prediction
with Linear Regression [14.493176427999028]
線形回帰モデルを用いて条件平均処理効果(CATE)の予測における良性過剰適合理論について検討した。
一方,IPW-learnerは確率スコアが分かっていればリスクをゼロに収束させるが,T-learnerはランダムな割り当て以外の一貫性を達成できないことを示す。
論文 参考訳（メタデータ） (2022-02-10T18:51:52Z) - Dense Uncertainty Estimation [62.23555922631451]
本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。
本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
論文 参考訳（メタデータ） (2021-10-13T01:23:48Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Improving Deterministic Uncertainty Estimation in Deep Learning for
Classification and Regression [30.112634874443494]
単一前方通過における不確かさを推定する新しいモデルを提案する。
提案手法では,バイリプシッツ特徴抽出器とガウス過程の誘導点を組み合わせ,ロバストかつ原理的不確実性推定を行う。
論文 参考訳（メタデータ） (2021-02-22T23:29:12Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳（メタデータ） (2020-04-21T23:09:55Z) - Learning to Predict Error for MRI Reconstruction [67.76632988696943]
提案手法による予測の不確実性は予測誤差と強く相関しないことを示す。
本稿では,2段階の予測誤差の目標ラベルと大小を推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2020-02-13T15:55:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。