論文の概要: Comparing the quality of neural network uncertainty estimates for classification problems

• arxiv url: http://arxiv.org/abs/2308.05903v1
• Date: Fri, 11 Aug 2023 01:55:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-14 15:13:43.065892
• Title: Comparing the quality of neural network uncertainty estimates for classification problems
• Title（参考訳）: 分類問題に対するニューラルネットワークの不確かさ推定の質比較
• Authors: Daniel Ries, Joshua Michalenko, Tyler Ganter, Rashad Imad-Fayez Baiyasi, Jason Adams
• Abstract要約: 深層学習(DL)モデルに対する不確実性定量化(UQ)手法は,本研究で注目されている。 我々は,信頼区間の品質を評価するために,頻繁な区間範囲と区間幅の統計的手法を用いる。 本稿では、これらの異なるUQ for DL法をハイパースペクトル画像目標検出問題に適用し、異なる手法の結果の不整合を示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional deep learning (DL) models are powerful classifiers, but many approaches do not provide uncertainties for their estimates. Uncertainty quantification (UQ) methods for DL models have received increased attention in the literature due to their usefulness in decision making, particularly for high-consequence decisions. However, there has been little research done on how to evaluate the quality of such methods. We use statistical methods of frequentist interval coverage and interval width to evaluate the quality of credible intervals, and expected calibration error to evaluate classification predicted confidence. These metrics are evaluated on Bayesian neural networks (BNN) fit using Markov Chain Monte Carlo (MCMC) and variational inference (VI), bootstrapped neural networks (NN), Deep Ensembles (DE), and Monte Carlo (MC) dropout. We apply these different UQ for DL methods to a hyperspectral image target detection problem and show the inconsistency of the different methods' results and the necessity of a UQ quality metric. To reconcile these differences and choose a UQ method that appropriately quantifies the uncertainty, we create a simulated data set with fully parameterized probability distribution for a two-class classification problem. The gold standard MCMC performs the best overall, and the bootstrapped NN is a close second, requiring the same computational expense as DE. Through this comparison, we demonstrate that, for a given data set, different models can produce uncertainty estimates of markedly different quality. This in turn points to a great need for principled assessment methods of UQ quality in DL applications.
• Abstract（参考訳）: 従来のディープラーニング(dl)モデルは強力な分類器であるが、多くのアプローチは推定に不確実性を提供していない。 dlモデルに対する不確実性定量化(uq)法は,意思決定における有用性,特に高次決定において,文献において注目を集めている。 しかし、そのような方法の質を評価する方法に関する研究はほとんど行われていない。 信頼区間の品質を評価するために, 頻繁区間被覆と区間幅の統計的手法と, 予測信頼度を評価するためのキャリブレーション誤差について検討した。 これらの指標は、マルコフ・チェイン・モンテカルロ(MCMC)と変分推論(VI)、ブートストラップニューラルネットワーク(NN)、ディープアンサンブル(DE)、モンテカルロ(MC)のドロップアウトを用いてベイズニューラルネットワーク(BNN)の適合性を評価する。 本稿では、これらの異なるUQ for DL法をハイパースペクトル画像目標検出問題に適用し、異なる方法の結果の不整合とUQ品質指標の必要性を示す。 これらの相違を整理し、不確かさを適切に定量化するUQ法を選択するために、2クラス分類問題に対する完全なパラメータ化確率分布を持つシミュレーションデータセットを作成する。 金の標準MCMCは総じて最高であり、ブートストラップのNNは第2位であり、DEと同じ計算コストを必要とする。 この比較を通じて、与えられたデータセットに対して、異なるモデルが著しく異なる品質の不確実性を推定できることを実証する。 これは、dlアプリケーションにおけるuq品質の原理的な評価方法の必要性を示している。

関連論文リスト

• Legitimate ground-truth-free metrics for deep uncertainty classification scoring [3.9599054392856483]
  製造における不確実性定量化(UQ)手法の使用は依然として限られている。 この制限は、UQ基底真理を欠いたUQ手法を検証するという課題によってさらに悪化する。 本稿では,これらの指標を考察し,理論的に良好であり,実際に不確実な基礎的真理に結びついていることを証明する。
  論文  参考訳（メタデータ） (2024-10-30T14:14:32Z)
• Evaluation of machine learning architectures on the quantification of epistemic and aleatoric uncertainties in complex dynamical systems [0.0]
  不確実量化(英: Uncertainty Quantification、UQ)は、モデル誤差の自己評価値である。 ガウス過程とファミリーUQ強化ニューラルネットワークの両方を含む機械学習技術について検討する。 検証データ上の正規化残差の分布と推定不確かさの分布の2つの指標を用いて,UQ精度(モデル精度とは異なる)を評価する。
  論文  参考訳（メタデータ） (2023-06-27T02:35:25Z)
• Calibration-Aware Bayesian Learning [37.82259435084825]
  本稿では、キャリブレーション対応ベイズニューラルネットワーク(CA-BNN)と呼ばれる統合フレームワークを提案する。 ベイズ学習のように変分分布を最適化しながら、データ依存あるいはデータ非依存の正則化をそれぞれ適用する。 予測キャリブレーション誤差(ECE)と信頼性図を用いて,提案手法の利点を検証した。
  論文  参考訳（メタデータ） (2023-05-12T14:19:15Z)
• On double-descent in uncertainty quantification in overparametrized models [24.073221004661427]
  不確かさの定量化は、信頼性と信頼性のある機械学習における中心的な課題である。 最適正規化推定器のキャリブレーション曲線において, 分類精度とキャリブレーションのトレードオフを示す。 これは経験的ベイズ法とは対照的であり、高次一般化誤差と過度パラメトリゼーションにもかかわらず、我々の設定では十分に校正されていることを示す。
  論文  参考訳（メタデータ） (2022-10-23T16:01:08Z)
• What is Flagged in Uncertainty Quantification? Latent Density Models for Uncertainty Categorization [68.15353480798244]
  不確実性定量化(UQ)は、信頼できる機械学習モデルを作成する上で不可欠である。 近年、疑わしい事例にフラグを立てるUQ手法が急上昇している。 分類タスクにおけるUQ手法によってフラグ付けされた不確実な例を分類する枠組みを提案する。
  論文  参考訳（メタデータ） (2022-07-11T19:47:00Z)
• A Decoupled Uncertainty Model for MRI Segmentation Quality Estimation [4.104181348044472]
  タスクと異なるk空間アーティファクトに関連する不確実性のソースを分離する新しいCNNアーキテクチャを提案する。 課題の観点から,我々の不確実性予測はMRIの画質をよりよく推定できることを示す。
  論文  参考訳（メタデータ） (2021-09-06T12:54:44Z)
• Quantifying Uncertainty in Deep Spatiotemporal Forecasting [67.77102283276409]
  本稿では,正規格子法とグラフ法という2種類の予測問題について述べる。 我々はベイジアンおよび頻繁な視点からUQ法を解析し、統計的決定理論を通じて統一的な枠組みを提示する。 実際の道路ネットワークのトラフィック、疫病、空気質予測タスクに関する広範な実験を通じて、異なるUQ手法の統計計算トレードオフを明らかにする。
  論文  参考訳（メタデータ） (2021-05-25T14:35:46Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Cross Learning in Deep Q-Networks [82.20059754270302]
  本稿では、値に基づく強化学習手法において、よく知られた過大評価問題を緩和することを目的とした、新しいクロスQ-ラーニングアルゴリズムを提案する。 本アルゴリズムは,並列モデルの集合を維持し,ランダムに選択されたネットワークに基づいてQ値を算出することによって,二重Q-ラーニングに基づいて構築する。
  論文  参考訳（メタデータ） (2020-09-29T04:58:17Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。