論文の概要: Probabilistic Skip Connections for Deterministic Uncertainty Quantification in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2501.04816v1
• Date: Wed, 08 Jan 2025 20:12:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:35.732867
• Title: Probabilistic Skip Connections for Deterministic Uncertainty Quantification in Deep Neural Networks
• Title（参考訳）: ディープニューラルネットワークにおける決定論的不確実性定量化のための確率的スキップ接続
• Authors: Felix Jimenez, Matthias Katzfuss,
• Abstract要約: 現在の決定論的手法は、しばしばスペクトル正規化を伴うネットワークを再訓練する。 本稿では,神経崩壊の指標を用いて,感覚的かつスムーズな既存の中間層を特定することを提案する。 次に、この中間層の特徴ベクトルに確率モデルを適用し、確率スキップ接続(PSC)と呼ぶ。
• 参考スコア（独自算出の注目度）: 2.186901738997927
• License:
• Abstract: Deterministic uncertainty quantification (UQ) in deep learning aims to estimate uncertainty with a single pass through a network by leveraging outputs from the network's feature extractor. Existing methods require that the feature extractor be both sensitive and smooth, ensuring meaningful input changes produce meaningful changes in feature vectors. Smoothness enables generalization, while sensitivity prevents feature collapse, where distinct inputs are mapped to identical feature vectors. To meet these requirements, current deterministic methods often retrain networks with spectral normalization. Instead of modifying training, we propose using measures of neural collapse to identify an existing intermediate layer that is both sensitive and smooth. We then fit a probabilistic model to the feature vector of this intermediate layer, which we call a probabilistic skip connection (PSC). Through empirical analysis, we explore the impact of spectral normalization on neural collapse and demonstrate that PSCs can effectively disentangle aleatoric and epistemic uncertainty. Additionally, we show that PSCs achieve uncertainty quantification and out-of-distribution (OOD) detection performance that matches or exceeds existing single-pass methods requiring training modifications. By retrofitting existing models, PSCs enable high-quality UQ and OOD capabilities without retraining.
• Abstract（参考訳）: 深層学習における決定論的不確実性定量化(UQ)は,ネットワークの特徴抽出器からの出力を利用して,単一パスで不確実性を推定することを目的としている。 既存の手法では、特徴抽出器は敏感かつ滑らかであり、意味のある入力変更が特徴ベクトルに意味のある変化をもたらすことを保証する必要がある。 滑らかさは一般化を可能にし、感度は特徴の崩壊を防ぎ、異なる入力を同一の特徴ベクトルにマッピングする。 これらの要件を満たすために、現在の決定論的手法は、しばしばスペクトル正規化を伴うネットワークを再訓練する。 トレーニングを変更する代わりに、神経崩壊の尺度を用いて、敏感かつスムーズな既存の中間層を特定することを提案する。 次に、この中間層の特徴ベクトルに確率モデルを適用し、確率スキップ接続(PSC)と呼ぶ。 実験的分析を通じて, スペクトル正規化が神経崩壊に与える影響を考察し, PSCがアラート性およびてんかん性不確実性を効果的に解離させることを実証した。 さらに,PSCは,既存の単一パス法に適合する,あるいは超過する,不確実な定量化とアウト・オブ・ディストリビューション(OOD)検出性能を実現する。 既存のモデルに適合させることで、PSCはトレーニングをすることなく高品質なUQとOOD機能を実現できる。

関連論文リスト

• Feature Selection for Network Intrusion Detection [3.7414804164475983]
  本稿では,ネットワーク侵入を検出する際に,非情報的特徴の排除を容易にする情報理論を提案する。 提案手法は,ニューラルネットワークを用いた関数近似に基づいて,再帰層を組み込んだアプローチのバージョンを実現する。
  論文  参考訳（メタデータ） (2024-11-18T14:25:55Z)
• Function-Space Regularization in Neural Networks: A Probabilistic Perspective [51.133793272222874]
  所望の予測関数に関する情報をニューラルネットワークトレーニングに明示的にエンコードできる、モチベーションの高い正規化手法を導出できることが示される。 本手法の有効性を実証的に評価し,提案手法がほぼ完全なセマンティックシフト検出と高度に校正された予測不確実性推定に繋がることを示す。
  論文  参考訳（メタデータ） (2023-12-28T17:50:56Z)
• Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
  ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。 トラクタブル回路において,これを効率的に計算する方法を示す。 我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
  論文  参考訳（メタデータ） (2023-02-28T00:04:22Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Revisiting One-vs-All Classifiers for Predictive Uncertainty and Out-of-Distribution Detection in Neural Networks [22.34227625637843]
  識別型分類器における確率のパラメトリゼーションが不確実性推定に与える影響について検討する。 画像分類タスクのキャリブレーションを改善するために, 1-vs-all の定式化が可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-10T01:55:02Z)
• Revisiting Explicit Regularization in Neural Networks for Well-Calibrated Predictive Uncertainty [6.09170287691728]
  本研究では, 予測の不確かさを明確化するために, 明示的な正則化の重要性を再考する。 本稿では,ログ類似度が低いキャリブレーション性能の尺度を提案する。 次に、未確認サンプルのログ類似性を改善するための明示的な正規化手法を探索し、よく校正された予測の不確実性を提供する。
  論文  参考訳（メタデータ） (2020-06-11T13:14:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。