論文の概要: Quantifying Epistemic Uncertainty in Deep Learning

• arxiv url: http://arxiv.org/abs/2110.12122v1
• Date: Sat, 23 Oct 2021 03:21:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-26 15:11:24.186395
• Title: Quantifying Epistemic Uncertainty in Deep Learning
• Title（参考訳）: 深層学習における認識的不確かさの定量化
• Authors: Ziyi Huang, Henry Lam and Haofeng Zhang
• Abstract要約: 不確実性は、機械学習の信頼性と堅牢性の中核にある。 本稿では,深層学習における不確実性に関する系統的研究を行う。
• 参考スコア（独自算出の注目度）: 13.359897823629861
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification is at the core of the reliability and robustness of machine learning. It is well-known that uncertainty consists of two different types, often referred to as aleatoric and epistemic uncertainties. In this paper, we provide a systematic study on the epistemic uncertainty in deep supervised learning. We rigorously distinguish different sources of epistemic uncertainty, including in particular procedural variability (from the training procedure) and data variability (from the training data). We use our framework to explain how deep ensemble enhances prediction by reducing procedural variability. We also propose two approaches to estimate epistemic uncertainty for a well-trained neural network in practice. One uses influence function derived from the theory of neural tangent kernel that bypasses the convexity assumption violated by modern neural networks. Another uses batching that bypasses the time-consuming Gram matrix inversion in the influence function calculation, while expending minimal re-training effort. We discuss how both approaches overcome some difficulties in applying classical statistical methods to the inference on deep learning.
• Abstract（参考訳）: 不確かさの定量化は、機械学習の信頼性と堅牢性の中核にある。 不確実性は2つの異なるタイプで構成されており、しばしばアレテータ型と認識的不確実性と呼ばれる。 本稿では,深層学習における認識の不確実性に関する系統的研究を行う。 我々は、特に手続き的変動(訓練手順から)とデータ変動(訓練データから)を含む、異なる認識的不確実性の源を厳格に区別する。 我々は,このフレームワークを用いて,手続き変動を低減し,深層アンサンブルが予測をいかに強化するかを説明する。 また,よく訓練されたニューラルネットワークの疫学的不確実性を推定する2つの手法を提案する。 影響関数は、現代のニューラルネットワークによって破られた凸性仮定をバイパスする神経接核の理論に由来する。 もうひとつは、最小限の再トレーニング作業を実行しながら、影響関数の計算に費やしたグラム行列の反転を回避したバッチ処理である。 本稿では,従来の統計的手法を深層学習の推論に適用することの難しさについて論じる。

関連論文リスト

• Navigating Uncertainties in Machine Learning for Structural Dynamics: A Comprehensive Review of Probabilistic and Non-Probabilistic Approaches in Forward and Inverse Problems [0.0]
  本稿では,機械学習(ML)における不確実性のナビゲートに関する包括的レビューを行う。 確率的手法や非確率的手法に対する不確実性に気付くアプローチを列挙する。 このレビューは、ML技術を利用して構造的動的問題の不確実性に対処する際、研究者や実践者が情報的決定を行うのを支援することを目的としている。
  論文  参考訳（メタデータ） (2024-08-16T09:43:01Z)
• Learning Confidence Bounds for Classification with Imbalanced Data [42.690254618937196]
  本稿では,学習理論と集中不等式を利用して従来のソリューションの欠点を克服する新しい枠組みを提案する。 本手法は, クラスごとに異なる不均衡度に効果的に適応できるため, より堅牢で信頼性の高い分類結果が得られる。
  論文  参考訳（メタデータ） (2024-07-16T16:02:27Z)
• Self-Improving Interference Management Based on Deep Learning With Uncertainty Quantification [10.403513606082067]
  本稿では,無線通信に適した自己改善型干渉管理フレームワークを提案する。 提案手法は,従来の最適化アルゴリズムに固有の計算課題に対処する。 私たちのフレームワークのブレークスルーは、データ駆動モデルに固有の制限を認識することです。
  論文  参考訳（メタデータ） (2024-01-24T03:28:48Z)
• One step closer to unbiased aleatoric uncertainty estimation [71.55174353766289]
  そこで本研究では,観測データのアクティブデノイズ化による新しい推定手法を提案する。 幅広い実験を行うことで,提案手法が標準手法よりも実際のデータ不確実性にはるかに近い近似を与えることを示す。
  論文  参考訳（メタデータ） (2023-12-16T14:59:11Z)
• Theoretical Foundations of Adversarially Robust Learning [7.589246500826111]
  現在の機械学習システムは、敵の例に対して脆弱であることが示されている。 この論文では、敵の例に対して、ロバストネス特性がどのような保証を期待できるかを論じる。
  論文  参考訳（メタデータ） (2023-06-13T12:20:55Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Elucidating Noisy Data via Uncertainty-Aware Robust Learning [9.711326718689495]
  提案手法は,汚れたデータセットからクリーンなターゲット分布を学習することができる。 我々は,2種類の予測不確かさを区別できる混合専門家モデルを活用する。 汚職パターン推定の性能を評価するための新しい検証手法を提案する。
  論文  参考訳（メタデータ） (2021-11-02T14:44:50Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Accurate and Robust Feature Importance Estimation under Distribution Shifts [49.58991359544005]
  PRoFILEは、新しい特徴重要度推定法である。 忠実さと頑健さの両面で、最先端のアプローチよりも大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2020-09-30T05:29:01Z)
• Pitfalls of In-Domain Uncertainty Estimation and Ensembling in Deep Learning [70.72363097550483]
  本研究では,画像分類における領域内不確実性に着目した。 そこで本研究では,ディープアンサンブル等価スコア(DEE)を導入する。
  論文  参考訳（メタデータ） (2020-02-15T23:28:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。