論文の概要: Revisiting Explicit Regularization in Neural Networks for
Well-Calibrated Predictive Uncertainty
- arxiv url: http://arxiv.org/abs/2006.06399v3
- Date: Sat, 6 Feb 2021 08:27:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-22 10:02:16.986094
- Title: Revisiting Explicit Regularization in Neural Networks for
Well-Calibrated Predictive Uncertainty
- Title（参考訳）: well-calibrated prediction uncertainty に対するニューラルネットワークの明示的正規化の再検討
- Authors: Taejong Joo, Uijung Chung
- Abstract要約: 本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。
本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。
次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
- 参考スコア（独自算出の注目度）: 6.09170287691728
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: From the statistical learning perspective, complexity control via explicit
regularization is a necessity for improving the generalization of
over-parameterized models. However, the impressive generalization performance
of neural networks with only implicit regularization may be at odds with this
conventional wisdom. In this work, we revisit the importance of explicit
regularization for obtaining well-calibrated predictive uncertainty.
Specifically, we introduce a probabilistic measure of calibration performance,
which is lower bounded by the log-likelihood. We then explore explicit
regularization techniques for improving the log-likelihood on unseen samples,
which provides well-calibrated predictive uncertainty. Our findings present a
new direction to improve the predictive probability quality of deterministic
neural networks, which can be an efficient and scalable alternative to Bayesian
neural networks and ensemble methods.
- Abstract（参考訳）: 統計的学習の観点からは、明示的正規化による複雑性制御は、過剰パラメータモデルの一般化を改善するために必要である。
しかし、暗黙の正規化のみを持つニューラルネットワークの印象的な一般化性能は、この従来の知見とは相反する可能性がある。
本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。
具体的には,ログ類似度によって境界が低く,キャリブレーション性能の確率的尺度を提案する。
次に,未発見サンプルのログ類似性を改善するための明示的正規化手法について検討する。
本研究は,ベイズ型ニューラルネットワークやアンサンブル手法に代わる効率的かつスケーラブルな代替手法として,決定論的ニューラルネットワークの予測確率品質を向上させるための新たな方向性を示す。
関連論文リスト
- Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Function-Space Regularization in Neural Networks: A Probabilistic
Perspective [51.133793272222874]
所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。
本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
論文 参考訳（メタデータ） (2023-12-28T17:50:56Z) - Learning Expressive Priors for Generalization and Uncertainty Estimation
in Neural Networks [77.89179552509887]
本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。
キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。
本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
論文 参考訳（メタデータ） (2023-07-15T09:24:33Z) - A Large-Scale Study of Probabilistic Calibration in Neural Network
Regression [3.13468877208035]
我々は、ニューラルネットワークの確率的キャリブレーションを評価するために、これまでで最大の実証的研究を行った。
そこで本研究では,新しい可微分再校正法と正規化法を導入し,その有効性に関する新たな知見を明らかにした。
論文 参考訳（メタデータ） (2023-06-05T09:33:39Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Revisiting One-vs-All Classifiers for Predictive Uncertainty and
Out-of-Distribution Detection in Neural Networks [22.34227625637843]
識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。
画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
論文 参考訳（メタデータ） (2020-07-10T01:55:02Z) - Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
類似サンプル間の予測分布を解析する新しい正規化法を提案する。
これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。
画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
論文 参考訳（メタデータ） (2020-03-31T06:03:51Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。