論文の概要: Theoretical characterization of uncertainty in high-dimensional linear
classification
- arxiv url: http://arxiv.org/abs/2202.03295v1
- Date: Mon, 7 Feb 2022 15:32:07 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-08 16:57:57.691327
- Title: Theoretical characterization of uncertainty in high-dimensional linear
classification
- Title（参考訳）: 高次元線形分類における不確かさの理論的特徴
- Authors: Lucas Clart\'e, Bruno Loureiro, Florent Krzakala, Lenka Zdeborov\'a
- Abstract要約: 本研究では,高次元入力データとラベルの限られたサンプル数から学習する不確実性が,近似メッセージパッシングアルゴリズムによって得られることを示す。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
- 参考スコア（独自算出の注目度）: 24.073221004661427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Being able to reliably assess not only the accuracy but also the uncertainty
of models' predictions is an important endeavour in modern machine learning.
Even if the model generating the data and labels is known, computing the
intrinsic uncertainty after learning the model from a limited number of samples
amounts to sampling the corresponding posterior probability measure. Such
sampling is computationally challenging in high-dimensional problems and
theoretical results on heuristic uncertainty estimators in high-dimensions are
thus scarce. In this manuscript, we characterise uncertainty for learning from
limited number of samples of high-dimensional Gaussian input data and labels
generated by the probit model. We prove that the Bayesian uncertainty (i.e. the
posterior marginals) can be asymptotically obtained by the approximate message
passing algorithm, bypassing the canonical but costly Monte Carlo sampling of
the posterior. We then provide a closed-form formula for the joint statistics
between the logistic classifier, the uncertainty of the statistically optimal
Bayesian classifier and the ground-truth probit uncertainty. The formula allows
us to investigate calibration of the logistic classifier learning from limited
amount of samples. We discuss how over-confidence can be mitigated by
appropriately regularising, and show that cross-validating with respect to the
loss leads to better calibration than with the 0/1 error.
- Abstract（参考訳）: 精度だけでなく、モデルの予測の不確実性も確実に評価できることは、現代の機械学習における重要な取り組みである。
データとラベルを生成するモデルが知られているとしても、限られたサンプルからモデルを学習した後で本質的な不確かさを計算し、対応する後続確率測定をサンプリングする。
このようなサンプリングは高次元問題では計算上困難であり、高次元におけるヒューリスティック不確実性推定器の理論的な結果は乏しい。
本稿では,高次元ガウス入力データとプロビットモデルにより生成されたラベルの限られたサンプルから学習する不確実性を特徴付ける。
ベイズの不確実性(すなわち後縁)が近似メッセージパッシングアルゴリズムによって漸近的に得られ、後続の標準的だがコストのかかるモンテカルロサンプリングをバイパスできることを証明した。
次に、ロジスティック分類器と統計学的に最適なベイズ分類器の不確実性、および基底トラス確率の不確実性の間の合同統計量に対する閉形式式を提供する。
この式により,限られたサンプル量からロジスティック分類器学習の校正を検証できる。
我々は,信頼度を適切に正則化することで緩和する方法について論じるとともに,損失に対するクロスバリデーションが0/1誤差よりもキャリブレーションが優れていることを示す。
関連論文リスト
- Calibrating Neural Simulation-Based Inference with Differentiable
Coverage Probability [50.44439018155837]
ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。
古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。
既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
論文 参考訳（メタデータ） (2023-10-20T10:20:45Z) - A Data-Driven Measure of Relative Uncertainty for Misclassification
Detection [25.947610541430013]
誤分類検出のための観測者に対して,不確実性に関するデータ駆動測度を導入する。
ソフト予測の分布パターンを学習することにより,不確実性を測定することができる。
複数の画像分類タスクに対する経験的改善を示し、最先端の誤分類検出方法より優れていることを示す。
論文 参考訳（メタデータ） (2023-06-02T17:32:03Z) - Convergence of uncertainty estimates in Ensemble and Bayesian sparse
model discovery [4.446017969073817]
ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。
このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
論文 参考訳（メタデータ） (2023-01-30T04:07:59Z) - The Implicit Delta Method [61.36121543728134]
本稿では,不確実性のトレーニング損失を無限に正規化することで機能する,暗黙のデルタ法を提案する。
有限差分により無限小変化が近似された場合でも, 正則化による評価の変化は評価推定器の分散に一定であることを示す。
論文 参考訳（メタデータ） (2022-11-11T19:34:17Z) - High-dimensional Measurement Error Models for Lipschitz Loss [2.6415509201394283]
リプシッツ損失関数のクラスに対する高次元計測誤差モデルを開発する。
我々の推定器は、適切な実現可能な集合に属するすべての推定器の中で、$L_1$ノルムを最小化するように設計されている。
有限標本統計誤差境界と符号の整合性の観点から理論的な保証を導出する。
論文 参考訳（メタデータ） (2022-10-26T20:06:05Z) - Statistical and Computational Trade-offs in Variational Inference: A
Case Study in Inferential Model Selection [27.817156428797567]
変分推論は、古典的マルコフ連鎖モンテカルロの代替として人気がある。
本研究では,変分推論における統計的および計算的トレードオフについて,推論モデル選択におけるケーススタディを用いて検討する。
計算予算が固定された場合、低ランク推論モデルは、高い統計的近似誤差を持つ変分後部を生成することを証明した。
論文 参考訳（メタデータ） (2022-07-22T17:16:05Z) - Evaluating State-of-the-Art Classification Models Against Bayes
Optimality [106.50867011164584]
正規化フローを用いて学習した生成モデルのベイズ誤差を正確に計算できることを示す。
われわれの手法を用いて、最先端の分類モデルについて徹底的な調査を行う。
論文 参考訳（メタデータ） (2021-06-07T06:21:20Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳（メタデータ） (2021-04-11T09:50:24Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Quantifying the Uncertainty in Model Parameters Using Gaussian
Process-Based Markov Chain Monte Carlo: An Application to Cardiac
Electrophysiological Models [7.8316005711996235]
パーソナライズされたモデリングには,患者固有のモデルパラメータの推定が重要である。
標準マルコフ連鎖モンテカルロサンプリングは、計算不可能な繰り返しモデルシミュレーションを必要とする。
一般的な解決策は、より高速なサンプリングのためにシミュレーションモデルを計算効率の良いサロゲートに置き換えることである。
論文 参考訳（メタデータ） (2020-06-02T23:48:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。