論文の概要: Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection

• arxiv url: http://arxiv.org/abs/2012.05329v3
• Date: Fri, 26 Feb 2021 09:56:51 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-16 04:04:51.579210
• Title: Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection
• Title（参考訳）: 限界を知る: 信頼度OOD検出で失敗するReLU分類器の不確かさ推定
• Authors: Dennis Ulmer and Giovanni Cin\`a
• Abstract要約: 本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A crucial requirement for reliable deployment of deep learning models for safety-critical applications is the ability to identify out-of-distribution (OOD) data points, samples which differ from the training data and on which a model might underperform. Previous work has attempted to tackle this problem using uncertainty estimation techniques. However, there is empirical evidence that a large family of these techniques do not detect OOD reliably in classification tasks. This paper gives a theoretical explanation for said experimental findings and illustrates it on synthetic data. We prove that such techniques are not able to reliably identify OOD samples in a classification setting, since their level of confidence is generalized to unseen areas of the feature space. This result stems from the interplay between the representation of ReLU networks as piece-wise affine transformations, the saturating nature of activation functions like softmax, and the most widely-used uncertainty metrics.
• Abstract（参考訳）: 安全クリティカルなアプリケーションにディープラーニングモデルを確実にデプロイするための重要な要件は、アウト・オブ・ディストリビューション(OOD)データポイント、トレーニングデータと異なるサンプル、モデルが過小評価される可能性のあるサンプルを特定する能力である。 前回の研究では不確実性推定手法を用いてこの問題に取り組んでいる。 しかし, 分類作業においてOODを確実に検出できないという実証的な証拠がある。 本稿では, 実験結果について理論的に説明し, 合成データから考察する。 これらの手法は,その信頼性レベルが特徴空間の未確認領域に一般化されるため,分類設定においてOODサンプルを確実に識別できない。 この結果は、ReLUネットワークを断片的なアフィン変換として表現すること、ソフトマックスのような活性化関数の飽和の性質、そして最も広く使われている不確実性メトリクスの間の相互作用に起因している。

関連論文リスト

• An Empirical Study of Uncertainty Estimation Techniques for Detecting Drift in Data Streams [4.818865062632567]
  本研究では,ドリフト検出における誤差率の代用として不確実性値を用いた総合的な実験的検討を行った。 実世界の7つのデータセットにまたがるADWIN検出器を用いた5つの不確実性推定手法について検討した。 その結果、SWAG法はキャリブレーションが優れているが、ドリフト検出の全体的な精度は不確実性推定法の選択によって顕著に影響しないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-22T13:17:55Z)
• Distilling the Unknown to Unveil Certainty [66.29929319664167]
  標準ネットワークがトレーニングされるIDデータから逸脱するテストサンプルを特定するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。 本稿では,IDデータのトレーニングが可能であるか否かを問う,先駆的な学習フレームワークであるOODナレッジ蒸留について紹介する。
  論文  参考訳（メタデータ） (2023-11-14T08:05:02Z)
• Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations [28.875819909902244]
  不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-25T12:22:18Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Augmenting Softmax Information for Selective Classification with Out-of-Distribution Data [7.221206118679026]
  既存のポストホック法はOOD検出でのみ評価した場合とは大きく異なる性能を示す。 本稿では,特徴に依存しない情報を用いて,ソフトマックスに基づく信頼度を向上するSCOD(Softmax Information Retaining Combination, SIRC)の新たな手法を提案する。 多様なImageNetスケールのデータセットと畳み込みニューラルネットワークアーキテクチャの実験は、SIRCがSCODのベースラインを一貫して一致または上回っていることを示している。
  論文  参考訳（メタデータ） (2022-07-15T14:39:57Z)
• Uncertainty-Aware Reliable Text Classification [21.517852608625127]
  ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-15T04:39:55Z)
• Provably Robust Detection of Out-of-distribution Data (almost) for free [124.14121487542613]
  ディープニューラルネットワークは、アウト・オブ・ディストリビューション(OOD)データに対する高い過度な予測を生成することが知られている。 本稿では,認証可能なOOD検出器を標準分類器と組み合わせてOOD認識分類器を提案する。 このようにして、我々は2つの世界のベストを達成している。OOD検出は、分布内に近いOODサンプルであっても、予測精度を損なうことなく、非操作型OODデータに対する最先端のOOD検出性能に近接する。
  論文  参考訳（メタデータ） (2021-06-08T11:40:49Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Learn what you can't learn: Regularized Ensembles for Transductive Out-of-distribution Detection [76.39067237772286]
  ニューラルネットワークの現在のアウト・オブ・ディストリビューション(OOD)検出アルゴリズムは,様々なOOD検出シナリオにおいて不満足な結果をもたらすことを示す。 本稿では,テストデータのバッチを観察した後に検出方法を調整することで,このような「ハード」なOODシナリオがいかに有用かを検討する。 本稿では,テストデータと正規化に人工ラベリング手法を用いて,テストバッチ内のOODサンプルに対してのみ矛盾予測を生成するモデルのアンサンブルを求める手法を提案する。
  論文  参考訳（メタデータ） (2020-12-10T16:55:13Z)
• Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning [17.10036674236381]
  アウト・オブ・ディストリビューションデータの誤予測は、機械学習システムにおける安全性の危機的状況を引き起こす可能性がある。 我々は不確実性に基づくOOD分類のためのフレームワークUBOODを提案する。 UBOODはアンサンブルに基づく推定器と組み合わせることで,信頼性の高い分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2019-12-31T09:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。