論文の概要: Quantifying Epistemic Uncertainty in Deep Learning
- arxiv url: http://arxiv.org/abs/2110.12122v4
- Date: Sun, 18 Jun 2023 08:01:59 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 06:47:39.764604
- Title: Quantifying Epistemic Uncertainty in Deep Learning
- Title(参考訳): 深層学習における認識的不確かさの定量化
- Authors: Ziyi Huang, Henry Lam and Haofeng Zhang
- Abstract要約: 不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。
深層学習における不確実性,特にテクテプステミック成分を識別する理論的枠組みを提供する。
本稿では,これらの不確かさを推定する2つの手法を提案し,その1つは影響関数に基づくものであり,もう1つは変数に関するものである。
- 参考スコア(独自算出の注目度): 15.494774321257939
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Uncertainty quantification is at the core of the reliability and robustness
of machine learning. In this paper, we provide a theoretical framework to
dissect the uncertainty, especially the \textit{epistemic} component, in deep
learning into \textit{procedural variability} (from the training procedure) and
\textit{data variability} (from the training data), which is the first such
attempt in the literature to our best knowledge. We then propose two approaches
to estimate these uncertainties, one based on influence function and one on
batching. We demonstrate how our approaches overcome the computational
difficulties in applying classical statistical methods. Experimental
evaluations on multiple problem settings corroborate our theory and illustrate
how our framework and estimation can provide direct guidance on modeling and
data collection efforts.
- Abstract(参考訳): 不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。
本稿では,この不確実性,特に,深層学習において,不確実性(不確実性)を(訓練手順から)\textit{procedural variability} と(訓練データから) \textit{data variability} (訓練データから) に分解する理論的枠組みを提案する。
次に,これらの不確実性を評価するための2つの手法を提案する。
我々は,古典的な統計手法を適用する際の計算困難を克服する方法を実証する。
複数の問題設定に関する実験的な評価は、我々の理論を裏付け、我々のフレームワークと推定が、どのようにしてモデリングとデータ収集の直接的なガイダンスを提供するかを説明する。
関連論文リスト
- Self-Improving Interference Management Based on Deep Learning With
Uncertainty Quantification [10.403513606082067]
本稿では,無線通信に適した自己改善型干渉管理フレームワークを提案する。
提案手法は,従来の最適化アルゴリズムに固有の計算課題に対処する。
私たちのフレームワークのブレークスルーは、データ駆動モデルに固有の制限を認識することです。
論文 参考訳(メタデータ) (2024-01-24T03:28:48Z) - Theoretical Foundations of Adversarially Robust Learning [7.589246500826111]
現在の機械学習システムは、敵の例に対して脆弱であることが示されている。
この論文では、敵の例に対して、ロバストネス特性がどのような保証を期待できるかを論じる。
論文 参考訳(メタデータ) (2023-06-13T12:20:55Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳(メタデータ) (2023-03-03T16:12:59Z) - Elucidating Noisy Data via Uncertainty-Aware Robust Learning [9.711326718689495]
提案手法は,汚れたデータセットからクリーンなターゲット分布を学習することができる。
我々は,2種類の予測不確かさを区別できる混合専門家モデルを活用する。
汚職パターン推定の性能を評価するための新しい検証手法を提案する。
論文 参考訳(メタデータ) (2021-11-02T14:44:50Z) - Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。
本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。
当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
論文 参考訳(メタデータ) (2021-10-29T13:30:42Z) - Distributionally Robust Learning in Heterogeneous Contexts [29.60681287631439]
異なる文脈で得られたトレーニングデータから学習する問題を検討し、テストデータは分布シフトの影響を受けます。
我々は,超過リスクに着目した分散ロバストな手法を開発し,従来の超保守的ミニマックスアプローチよりもパフォーマンスとロバスト性のトレードオフをより適切なものにする。
論文 参考訳(メタデータ) (2021-05-18T14:00:34Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Uncertainty Quantification in Extreme Learning Machine: Analytical
Developments, Variance Estimates and Confidence Intervals [0.0]
不確かさの定量化は、機械学習モデルの予測品質を評価するために不可欠である。
文献で提案されるほとんどの手法は、データに対して強い仮定を行い、入力重みのランダム性を無視したり、信頼区間推定におけるバイアス寄与を無視したりする。
本稿では,これらの制約を克服し,EMMの多様性の理解を向上させる新しい推定法を提案する。
論文 参考訳(メタデータ) (2020-11-03T13:45:59Z) - Accurate and Robust Feature Importance Estimation under Distribution
Shifts [49.58991359544005]
PRoFILEは、新しい特徴重要度推定法である。
忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
論文 参考訳(メタデータ) (2020-09-30T05:29:01Z) - Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep
Learning [70.72363097550483]
本研究では,画像分類における領域内不確実性に着目した。
そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
論文 参考訳(メタデータ) (2020-02-15T23:28:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。