論文の概要: Calibrated and Sharp Uncertainties in Deep Learning via Simple Density
Estimation
- arxiv url: http://arxiv.org/abs/2112.07184v1
- Date: Tue, 14 Dec 2021 06:19:05 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 17:04:48.695840
- Title: Calibrated and Sharp Uncertainties in Deep Learning via Simple Density
Estimation
- Title(参考訳): 簡易密度推定によるディープラーニングの校正と鋭い不確かさ
- Authors: Volodymyr Kuleshov, Shachi Deshpande
- Abstract要約: 本稿では,これらの特性の観点からの不確かさを推論し,それを深層学習に適用するための簡単なアルゴリズムを提案する。
本手法はキャリブレーションの最も強い概念である分布キャリブレーションに着目し,低次元密度あるいは量子関数をニューラル推定器に適合させることにより,キャリブレーションを強制する。
実験により,本手法は計算と実装のオーバーヘッドを最小限に抑えながら,いくつかのタスクにおける予測の不確実性を改善できることが判明した。
- 参考スコア(独自算出の注目度): 7.184701179854522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive uncertainties can be characterized by two properties--calibration
and sharpness. This paper argues for reasoning about uncertainty in terms these
properties and proposes simple algorithms for enforcing them in deep learning.
Our methods focus on the strongest notion of calibration--distribution
calibration--and enforce it by fitting a low-dimensional density or quantile
function with a neural estimator. The resulting approach is much simpler and
more broadly applicable than previous methods across both classification and
regression. Empirically, we find that our methods improve predictive
uncertainties on several tasks with minimal computational and implementation
overhead. Our insights suggest simple and improved ways of training deep
learning models that lead to accurate uncertainties that should be leveraged to
improve performance across downstream applications.
- Abstract(参考訳): 予測的不確かさは,2つの特性-校正と鋭さを特徴とし,これらの特性の観点から不確かさを推論し,それを深層学習に適用するための単純なアルゴリズムを提案する。本手法では,低次元密度あるいは量子関数をニューラル推定器に適合させることにより,校正-分布校正という最強の概念に焦点をあてる。
結果として得られるアプローチは、分類と回帰の両方において、以前の方法よりもずっとシンプルで広く適用できる。
実験により,本手法は計算と実装のオーバーヘッドを最小限に抑えながら,いくつかのタスクにおける予測の不確実性を改善する。
私たちの洞察は、下流アプリケーション全体のパフォーマンスを改善するために活用すべき正確な不確実性につながる、ディープラーニングモデルをシンプルで改善した訓練方法を提案する。
関連論文リスト
- Learning Sample Difficulty from Pre-trained Models for Reliable
Prediction [55.77136037458667]
本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。
我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
論文 参考訳(メタデータ) (2023-04-20T07:29:23Z) - Multi-Head Multi-Loss Model Calibration [13.841172927454204]
我々は,深層アンサンブルの訓練と推論に要する費用を省く,単純化されたアンサンブルの形式を導入する。
具体的には、各頭部は、重み付きクロスエントロピー損失を最小限に抑えるために訓練されるが、重みは異なる枝によって異なる。
その結果,2つの挑戦データセットにおいて精度を犠牲にすることなく,精度の高いキャリブレーションを達成できることが示唆された。
論文 参考訳(メタデータ) (2023-03-02T09:32:32Z) - On Calibrating Semantic Segmentation Models: Analyses and An Algorithm [51.85289816613351]
セマンティックセグメンテーションキャリブレーションの問題について検討する。
モデルキャパシティ、作物サイズ、マルチスケールテスト、予測精度はキャリブレーションに影響を及ぼす。
我々は、単純で統一的で効果的なアプローチ、すなわち選択的スケーリングを提案する。
論文 参考訳(メタデータ) (2022-12-22T22:05:16Z) - Post-hoc Uncertainty Learning using a Dirichlet Meta-Model [28.522673618527417]
本研究では,不確実性定量化能力の優れた事前学習モデルを構築するための新しいベイズメタモデルを提案する。
提案手法は追加のトレーニングデータを必要としないため,不確かさの定量化に十分な柔軟性がある。
提案するメタモデルアプローチの柔軟性と,これらのアプリケーションに対する優れた経験的性能を実証する。
論文 参考訳(メタデータ) (2022-12-14T17:34:11Z) - Neural Networks with Quantization Constraints [111.42313650830248]
量子化学習における制約付き学習手法を提案する。
結果の問題は強い双対であり、勾配推定は不要であることを示す。
提案手法は画像分類タスクにおける競合性能を示す。
論文 参考訳(メタデータ) (2022-10-27T17:12:48Z) - On double-descent in uncertainty quantification in overparametrized
models [24.073221004661427]
不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。
最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。
これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
論文 参考訳(メタデータ) (2022-10-23T16:01:08Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Deep learning: a statistical viewpoint [120.94133818355645]
ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。
特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。
我々はこれらの現象を具体的原理で補うと推測する。
論文 参考訳(メタデータ) (2021-03-16T16:26:36Z) - Weight-of-evidence 2.0 with shrinkage and spline-binning [3.925373521409752]
分類予測器を変換するための形式化、データ駆動、強力な方法を提案する。
我々は,重み付け手法を拡張し,縮尺推定器を用いて比例を推定することを提案する。
本稿では,提案手法の有効性を示す詐欺検出セットにおける一連の実験結果を示す。
論文 参考訳(メタデータ) (2021-01-05T13:13:16Z) - Reintroducing Straight-Through Estimators as Principled Methods for
Stochastic Binary Networks [85.94999581306827]
2重みとアクティベーションを持つニューラルネットワークのトレーニングは、勾配の欠如と離散重みよりも最適化が難しいため、難しい問題である。
多くの実験結果が経験的ストレートスルー(ST)アプローチで達成されている。
同時に、ST法はベルヌーイ重みを持つバイナリネットワーク(SBN)モデルにおける推定子として真に導出することができる。
論文 参考訳(メタデータ) (2020-06-11T23:58:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。