論文の概要: Quantifying Epistemic Uncertainty in Deep Learning
- arxiv url: http://arxiv.org/abs/2110.12122v1
- Date: Sat, 23 Oct 2021 03:21:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-26 15:11:24.186395
- Title: Quantifying Epistemic Uncertainty in Deep Learning
- Title(参考訳): 深層学習における認識的不確かさの定量化
- Authors: Ziyi Huang, Henry Lam and Haofeng Zhang
- Abstract要約: 不確実性は、機械学習の信頼性と堅牢性の中核にある。
本稿では,深層学習における不確実性に関する系統的研究を行う。
- 参考スコア(独自算出の注目度): 13.359897823629861
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is at the core of the reliability and robustness
of machine learning. It is well-known that uncertainty consists of two
different types, often referred to as aleatoric and epistemic uncertainties. In
this paper, we provide a systematic study on the epistemic uncertainty in deep
supervised learning. We rigorously distinguish different sources of epistemic
uncertainty, including in particular procedural variability (from the training
procedure) and data variability (from the training data). We use our framework
to explain how deep ensemble enhances prediction by reducing procedural
variability. We also propose two approaches to estimate epistemic uncertainty
for a well-trained neural network in practice. One uses influence function
derived from the theory of neural tangent kernel that bypasses the convexity
assumption violated by modern neural networks. Another uses batching that
bypasses the time-consuming Gram matrix inversion in the influence function
calculation, while expending minimal re-training effort. We discuss how both
approaches overcome some difficulties in applying classical statistical methods
to the inference on deep learning.
- Abstract(参考訳): 不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。
不確実性は2つの異なるタイプで構成されており、しばしばアレテータ型と認識的不確実性と呼ばれる。
本稿では,深層学習における認識の不確実性に関する系統的研究を行う。
我々は、特に手続き的変動(訓練手順から)とデータ変動(訓練データから)を含む、異なる認識的不確実性の源を厳格に区別する。
我々は,このフレームワークを用いて,手続き変動を低減し,深層アンサンブルが予測をいかに強化するかを説明する。
また,よく訓練されたニューラルネットワークの疫学的不確実性を推定する2つの手法を提案する。
影響関数は、現代のニューラルネットワークによって破られた凸性仮定をバイパスする神経接核の理論に由来する。
もうひとつは、最小限の再トレーニング作業を実行しながら、影響関数の計算に費やしたグラム行列の反転を回避したバッチ処理である。
本稿では,従来の統計的手法を深層学習の推論に適用することの難しさについて論じる。
関連論文リスト
- Self-Improving Interference Management Based on Deep Learning With
Uncertainty Quantification [10.403513606082067]
本稿では,無線通信に適した自己改善型干渉管理フレームワークを提案する。
提案手法は,従来の最適化アルゴリズムに固有の計算課題に対処する。
私たちのフレームワークのブレークスルーは、データ駆動モデルに固有の制限を認識することです。
論文 参考訳(メタデータ) (2024-01-24T03:28:48Z) - Theoretical Foundations of Adversarially Robust Learning [7.589246500826111]
現在の機械学習システムは、敵の例に対して脆弱であることが示されている。
この論文では、敵の例に対して、ロバストネス特性がどのような保証を期待できるかを論じる。
論文 参考訳(メタデータ) (2023-06-13T12:20:55Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Elucidating Noisy Data via Uncertainty-Aware Robust Learning [9.711326718689495]
提案手法は,汚れたデータセットからクリーンなターゲット分布を学習することができる。
我々は,2種類の予測不確かさを区別できる混合専門家モデルを活用する。
汚職パターン推定の性能を評価するための新しい検証手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T14:44:50Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Distributionally Robust Learning in Heterogeneous Contexts [29.60681287631439]
異なる文脈で得られたトレーニングデータから学習する問題を検討し、テストデータは分布シフトの影響を受けます。
我々は,超過リスクに着目した分散ロバストな手法を開発し,従来の超保守的ミニマックスアプローチよりもパフォーマンスとロバスト性のトレードオフをより適切なものにする。
論文 参考訳(メタデータ) (2021-05-18T14:00:34Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T13:45:59Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep
Learning [70.72363097550483]
本研究では,画像分類における領域内不確実性に着目した。
そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
論文 参考訳(メタデータ) (2020-02-15T23:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。