論文の概要: Fine-grained Uncertainty Modeling in Neural Networks

• arxiv url: http://arxiv.org/abs/2002.04205v1
• Date: Tue, 11 Feb 2020 05:06:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 01:10:35.644853
• Title: Fine-grained Uncertainty Modeling in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるきめ細かい不確かさモデリング
• Authors: Rahul Soni, Naresh Shah, Jimmy D. Moore
• Abstract要約: 本稿では,ニューラルネットワークにおける分布外点検出のための新しい手法を提案する。 我々の手法は、NNの過度な判断を正し、外れ点を検知し、上位2つの予測の間で重要な点が不確実であるときに「私は知らない」と言うことを学習する。 副作用として, 本手法は, 追加訓練を必要とせず, 敵の攻撃を防ぐのに有効である。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing uncertainty modeling approaches try to detect an out-of-distribution point from the in-distribution dataset. We extend this argument to detect finer-grained uncertainty that distinguishes between (a). certain points, (b). uncertain points but within the data distribution, and (c). out-of-distribution points. Our method corrects overconfident NN decisions, detects outlier points and learns to say ``I don't know'' when uncertain about a critical point between the top two predictions. In addition, we provide a mechanism to quantify class distributions overlap in the decision manifold and investigate its implications in model interpretability. Our method is two-step: in the first step, the proposed method builds a class distribution using Kernel Activation Vectors (kav) extracted from the Network. In the second step, the algorithm determines the confidence of a test point by a hierarchical decision rule based on the chi-squared distribution of squared Mahalanobis distances. Our method sits on top of a given Neural Network, requires a single scan of training data to estimate class distribution statistics, and is highly scalable to deep networks and wider pre-softmax layer. As a positive side effect, our method helps to prevent adversarial attacks without requiring any additional training. It is directly achieved when the Softmax layer is substituted by our robust uncertainty layer at the evaluation phase.
• Abstract（参考訳）: 既存の不確実性モデリングアプローチは、分布内データセットから分布外点を検出する。 この議論を拡張して、より細かい不確実性を検出します。 (a) 特定の点 (b) 不確実な点ですが データの分布内で (c)。 Out-of-distriion ポイント。 提案手法は, 信頼度の高いnn決定を正し, 外れ点を検出し, 上位2つの予測間の臨界点について不確定な場合には, 「私は知らない」と言うように学習する。 さらに、決定多様体の重複するクラス分布を定量化し、モデル解釈可能性におけるその意味を解明するメカニズムを提供する。 最初のステップで,提案手法はネットワークから抽出したカーネル活性化ベクトル(kav)を用いてクラス分布を構築する。 2番目のステップでは、二乗マハラノビス距離のチ二乗分布に基づいて、アルゴリズムは階層的な決定規則によりテストポイントの信頼度を決定する。 本手法は所定のニューラルネットワーク上にあり,クラス分布統計を推定するためにトレーニングデータの単一のスキャンが必要であり,ディープネットワークやより広いプレソフトマックス層に対して高度にスケーラブルである。 副作用として,本手法は追加訓練を必要とせず,敵攻撃を防ぐのに有効である。 ソフトマックス層が評価段階でロバストな不確実性層に置き換えられると直接達成される。

関連論文リスト

• Combining Statistical Depth and Fermat Distance for Uncertainty Quantification [3.3975558777609915]
  我々は、Fermat Distanceと組み合わせたLens Depth'(LD)という統計的概念を用いて、ニューラルネットワークの予測における領域外不確実性を測定する。 提案手法は,おもちゃのデータセットに対して優れた定性的な結果を与えるとともに,標準的なディープラーニングデータセットに対して,競合的あるいはより良い不確実性評価を行うことができる。
  論文  参考訳（メタデータ） (2024-04-12T13:54:21Z)
• Bi-discriminator Domain Adversarial Neural Networks with Class-Level Gradient Alignment [87.8301166955305]
  そこで本研究では,クラスレベルのアライメントアライメントを有するバイディミネータドメイン対向ニューラルネットワークを提案する。 BACGは、領域分布の整合性を改善するために勾配信号と二階確率推定を利用する。 さらに、対照的な学習にインスパイアされ、トレーニングプロセスを大幅に短縮できるメモリバンクベースの変種であるFast-BACGを開発した。
  論文  参考訳（メタデータ） (2023-10-21T09:53:17Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• Learning Calibrated Uncertainties for Domain Shift: A Distributionally Robust Learning Approach [150.8920602230832]
  ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。 特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。 提案手法は下流タスクに有利な校正不確実性を生成する。
  論文  参考訳（メタデータ） (2020-10-08T02:10:54Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。