論文の概要: Gradients as a Measure of Uncertainty in Neural Networks

• arxiv url: http://arxiv.org/abs/2008.08030v2
• Date: Thu, 3 Sep 2020 19:47:36 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-27 21:48:42.241489
• Title: Gradients as a Measure of Uncertainty in Neural Networks
• Title（参考訳）: ニューラルネットワークの不確実性尺度としての勾配
• Authors: Jinsol Lee and Ghassan AlRegib
• Abstract要約: 本稿では,学習モデルの不確かさの定量化にバックプロパゲート勾配を用いることを提案する。 本研究では,AUROC スコアの4.8% を非分布検出において,勾配法が最先端の手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 16.80077149399317
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite tremendous success of modern neural networks, they are known to be overconfident even when the model encounters inputs with unfamiliar conditions. Detecting such inputs is vital to preventing models from making naive predictions that may jeopardize real-world applications of neural networks. In this paper, we address the challenging problem of devising a simple yet effective measure of uncertainty in deep neural networks. Specifically, we propose to utilize backpropagated gradients to quantify the uncertainty of trained models. Gradients depict the required amount of change for a model to properly represent given inputs, thus providing a valuable insight into how familiar and certain the model is regarding the inputs. We demonstrate the effectiveness of gradients as a measure of model uncertainty in applications of detecting unfamiliar inputs, including out-of-distribution and corrupted samples. We show that our gradient-based method outperforms state-of-the-art methods by up to 4.8% of AUROC score in out-of-distribution detection and 35.7% in corrupted input detection.
• Abstract（参考訳）: 現代のニューラルネットワークが驚くほど成功したにもかかわらず、モデルは不慣れな条件で入力に遭遇しても過信されることが知られている。 このような入力を検出することは、モデルがニューラルネットワークの現実世界の応用を危険にさらすようなナイーブな予測をするのを防ぐのに不可欠である。 本稿では,ディープニューラルネットワークにおける不確実性の簡易かつ効果的な尺度を考案する上での課題に対処する。 具体的には,トレーニングモデルの不確実性の定量化のために,バックプロパゲート勾配を利用する。 勾配(gradients)は、モデルが入力を適切に表現するために必要とされる変更量を表しており、それによってモデルが入力に対してどの程度親しみやすく、確かなものであるかについての貴重な洞察を提供する。 本研究では,不慣れな入力を検知するためのモデル不確実性の尺度としての勾配の有効性を示す。 本手法は,分布外検出においてaurocスコアの最大4.8%,破壊的入力検出では35.7%の精度向上を示す。

関連論文リスト

• Epistemic Uncertainty Quantification For Pre-trained Neural Network [27.444465823508715]
  疫学的不確実性定量化(UQ)は、モデルが知識を欠いている場所を特定する。 ベイジアンニューラルネットワークに基づく従来のUQ法は、事前訓練された非ベイジアンモデルには適さない。
  論文  参考訳（メタデータ） (2024-04-15T20:21:05Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Probing the Purview of Neural Networks via Gradient Analysis [13.800680101300756]
  我々は、ニューラルネットワークのデータ依存能力を分析し、推論中のネットワークの観点から入力の異常を評価する。 ネットワークのパービューを探索するために、モデルに必要な変化量を測定するために勾配を利用して、与えられた入力をより正確に特徴付ける。 我々の勾配に基づくアプローチは、学習した特徴で正確に表現できない入力を効果的に区別できることを実証する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:05Z)
• Model2Detector:Widening the Information Bottleneck for Out-of-Distribution Detection using a Handful of Gradient Steps [12.263417500077383]
  アウト・オブ・ディストリビューション検出は、長いバニラニューラルネットワークを持つ重要な機能である。 推論時間外分布検出の最近の進歩は、これらの問題のいくつかを緩和するのに役立つ。 提案手法は,一般的な画像データセットにおける検出精度において,常に最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-22T23:03:40Z)
• RoMA: a Method for Neural Network Robustness Measurement and Assessment [0.0]
  ロバストネス測定・評価(RoMA)と呼ばれる新しい統計手法を提案する。 RoMAは、ランダムな入力摂動が誤分類を引き起こす可能性を決定する。 この研究を通じて得られた興味深い洞察の1つは、分類ネットワークにおいて、異なる出力ラベルが全く異なる堅牢性レベルを示すことができることである。
  論文  参考訳（メタデータ） (2021-10-21T12:01:54Z)
• Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
  ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。 本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。 画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
  論文  参考訳（メタデータ） (2021-06-18T16:34:23Z)
• Non-Singular Adversarial Robustness of Neural Networks [58.731070632586594]
  小さな入力摂動に対する過敏性のため、アドリヤルロバスト性はニューラルネットワークにとって新たな課題となっている。 我々は,データ入力とモデル重みの共振レンズを用いて,ニューラルネットワークの非特異な対角性の概念を定式化する。
  論文  参考訳（メタデータ） (2021-02-23T20:59:30Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。