論文の概要: Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations

• arxiv url: http://arxiv.org/abs/2310.16587v1
• Date: Wed, 25 Oct 2023 12:22:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-26 14:53:32.648558
• Title: Adaptive Uncertainty Estimation via High-Dimensional Testing on Latent Representations
• Title（参考訳）: 潜在表現の高次元テストによる適応不確かさ推定
• Authors: Tsai Hor Chan, Kin Wai Lau, Jiajun Shen, Guosheng Yin, Lequan Yu
• Abstract要約: 不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 既存の不確実性推定アプローチは、低次元分布仮定に依存している。 本研究では,不確実性推定のためのデータ適応型高次元仮説テストを用いた新しいフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 28.875819909902244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation aims to evaluate the confidence of a trained deep neural network. However, existing uncertainty estimation approaches rely on low-dimensional distributional assumptions and thus suffer from the high dimensionality of latent features. Existing approaches tend to focus on uncertainty on discrete classification probabilities, which leads to poor generalizability to uncertainty estimation for other tasks. Moreover, most of the literature requires seeing the out-of-distribution (OOD) data in the training for better estimation of uncertainty, which limits the uncertainty estimation performance in practice because the OOD data are typically unseen. To overcome these limitations, we propose a new framework using data-adaptive high-dimensional hypothesis testing for uncertainty estimation, which leverages the statistical properties of the feature representations. Our method directly operates on latent representations and thus does not require retraining the feature encoder under a modified objective. The test statistic relaxes the feature distribution assumptions to high dimensionality, and it is more discriminative to uncertainties in the latent representations. We demonstrate that encoding features with Bayesian neural networks can enhance testing performance and lead to more accurate uncertainty estimation. We further introduce a family-wise testing procedure to determine the optimal threshold of OOD detection, which minimizes the false discovery rate (FDR). Extensive experiments validate the satisfactory performance of our framework on uncertainty estimation and task-specific prediction over a variety of competitors. The experiments on the OOD detection task also show satisfactory performance of our method when the OOD data are unseen in the training. Codes are available at https://github.com/HKU-MedAI/bnn_uncertainty.
• Abstract（参考訳）: 不確実性推定は、訓練されたディープニューラルネットワークの信頼性を評価することを目的としている。 しかし、既存の不確実性推定手法は低次元分布仮定に依存しており、従って潜在特徴の高次元性に悩まされる。 既存のアプローチでは、離散的な分類確率に対する不確実性に焦点をあてる傾向があるため、他のタスクに対する不確実性推定の一般化性が低くなる。 さらに、ほとんどの文献では、OODデータが通常見えないため、不確実性の推定性能を抑えるため、トレーニング中のアウト・オブ・ディストリビューション(OOD)データを見る必要がある。 これらの限界を克服するために,不確実性推定のためのデータ適応型高次元仮説検定を用いた新しい枠組みを提案する。 提案手法は遅延表現を直接操作するので,修正された目的の下で特徴エンコーダを再訓練する必要がなくなる。 テスト統計学は特徴分布の仮定を高次元に緩和し、潜在表現における不確かさをより識別する。 我々は,ベイズ型ニューラルネットワークを用いた符号化機能がテスト性能を向上し,より正確な不確実性推定につながることを実証する。 さらに,誤検出率(FDR)を最小化するOOD検出の最適しきい値を決定するために,家族的な検査手順を導入する。 各種競争相手に対する不確実性推定とタスク固有予測におけるフレームワークの良好な性能を検証する。 OOD検出タスクの実験は、OODデータがトレーニング中に見えない場合にも、本手法の良好な性能を示す。 コードはhttps://github.com/HKU-MedAI/bnn_uncertaintyで公開されている。

関連論文リスト

• Gradient-based Uncertainty Attribution for Explainable Bayesian Deep Learning [38.34033824352067]
  ディープラーニングモデルによる予測は、データ摂動、敵攻撃、アウト・オブ・ディストリビューション・インプットの傾向が強い。 本稿では,正確な不確実性定量化を行うための説明可能かつ実用的なベイズ深層学習法を提案する。
  論文  参考訳（メタデータ） (2023-04-10T19:14:15Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Uncertainty-Aware Reliable Text Classification [21.517852608625127]
  ディープニューラルネットワークは、分類タスクの予測精度の成功に大きく貢献している。 ドメインシフトやアウト・オブ・ディストリビューション(out-of-distribution)の例が存在する現実の環境では、過度に信頼された予測を行う傾向があります。 補助外乱と擬似外乱サンプルを併用して, あるクラスの事前知識でモデルを訓練する, 安価なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-07-15T04:39:55Z)
• On the Practicality of Deterministic Epistemic Uncertainty [106.06571981780591]
  決定論的不確実性法(DUM)は,分布外データの検出において高い性能を達成する。 DUMが十分に校正されており、現実のアプリケーションにシームレスにスケールできるかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-07-01T17:59:07Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• Approaching Neural Network Uncertainty Realism [53.308409014122816]
  自動運転車などの安全クリティカルなシステムには、定量化または少なくとも上限の不確実性が不可欠です。 マハラノビス距離に基づく統計的テストにより、厳しい品質基準である不確実性リアリズムを評価します。 自動車分野に採用し、プレーンエンコーダデコーダモデルと比較して、不確実性リアリズムを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2021-01-08T11:56:12Z)
• Know Your Limits: Uncertainty Estimation with ReLU Classifiers Fails at Reliable OOD Detection [0.0]
  本稿では, 実験結果について理論的に説明し, 合成データから考察する。 このような技術は、分類設定でOODサンプルを確実に識別できないことを証明します。
  論文  参考訳（メタデータ） (2020-12-09T21:35:55Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Uncertainty-Based Out-of-Distribution Classification in Deep Reinforcement Learning [17.10036674236381]
  アウト・オブ・ディストリビューションデータの誤予測は、機械学習システムにおける安全性の危機的状況を引き起こす可能性がある。 我々は不確実性に基づくOOD分類のためのフレームワークUBOODを提案する。 UBOODはアンサンブルに基づく推定器と組み合わせることで,信頼性の高い分類結果が得られることを示す。
  論文  参考訳（メタデータ） (2019-12-31T09:52:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。