論文の概要: Logit Disagreement: OoD Detection with Bayesian Neural Networks

• arxiv url: http://arxiv.org/abs/2502.15648v1
• Date: Fri, 21 Feb 2025 18:15:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 16:11:36.815847
• Title: Logit Disagreement: OoD Detection with Bayesian Neural Networks
• Title（参考訳）: Logit Disagreement:ベイズニューラルネットワークによるOoD検出
• Authors: Kevin Raina,
• Abstract要約: この研究は、ベイジアンNNの疫学的不確実性の推定として、プリソフトマックス量の補正版、またはロジットの間の不一致を測定することを提案する。 提案した3つの不確実性スコアは、OOD実験における相互情報よりも顕著に改善され、それ以外は同等の性能を示した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Bayesian neural networks (BNNs), which estimate the full posterior distribution over model parameters, are well-known for their role in uncertainty quantification and its promising application in out-of-distribution detection (OoD). Amongst other uncertainty measures, BNNs provide a state-of-the art estimation of predictive entropy (total uncertainty) which can be decomposed as the sum of mutual information and expected entropy. In the context of OoD detection the estimation of predictive uncertainty in the form of the predictive entropy score confounds aleatoric and epistemic uncertainty, the latter being hypothesized to be high for OoD points. Despite these justifications, the mutual information score has been shown to perform worse than predictive entropy. Taking inspiration from Bayesian variational autoencoder (BVAE) literature, this work proposes to measure the disagreement between a corrected version of the pre-softmax quantities, otherwise known as logits, as an estimate of epistemic uncertainty for Bayesian NNs under mean field variational inference. The three proposed epistemic uncertainty scores demonstrate marked improvements over mutual information on a range of OoD experiments, with equal performance otherwise. Moreover, the epistemic uncertainty scores perform on par with the Bayesian benchmark predictive entropy on a range of MNIST and CIFAR10 experiments.
• Abstract（参考訳）: モデルパラメータの完全な後部分布を推定するベイズニューラルネットワーク(BNN)は、不確実性定量化におけるその役割と、オフ・オブ・ディストリビューション検出(OoD)におけるその有望な応用でよく知られている。 その他の不確実性対策の中で、BNNは、相互情報と期待エントロピーの和として分解できる予測エントロピー(トータル不確実性)の最先端技術推定を提供する。 OoD検出の文脈では、予測エントロピースコアの形で予測の不確かさを推定することは、Aleatoric と epistemic の不確かさを伴い、後者はOoD の点に対して高いと仮定される。 これらの正当化にもかかわらず、相互情報のスコアは予測エントロピーよりも悪いことが示されている。 ベイズ変量オートエンコーダ(BVAE)の文献からインスピレーションを得て、この研究は、平均場変量推定の下でのベイズ変量NNの疫学的不確かさの推定として、プリソフトマックス量の補正版であるロジットとの相違を測定することを提案する。 提案した3つの疫学的不確実性スコアは、OoD実験における相互情報よりも顕著に改善され、それ以外は同等の性能を示した。 さらに, MNIST および CIFAR10 実験におけるベイジアンベンチマークの予測エントロピーと同等である。

関連論文リスト

• Uncertainty Decomposition and Error Margin Detection of Homodyned-K Distribution in Quantitative Ultrasound [1.912429179274357]
  定量的超音波(QUS)における均質K分布(HK分布)パラメータ推定をベイズニューラルネットワーク(BNN)を用いて最近検討した。 BNNは、精度と精度を損なうことなく、スペックル統計に基づくQUSの計算時間を著しく短縮することが示されている。
  論文  参考訳（メタデータ） (2024-09-17T22:16:49Z)
• Integrating Uncertainty into Neural Network-based Speech Enhancement [27.868722093985006]
  時間周波数領域における監視されたマスキングアプローチは、ディープニューラルネットワークを使用して乗法マスクを推定し、クリーンな音声を抽出することを目的としている。 これにより、信頼性の保証や尺度を使わずに、各入力に対する単一の見積もりが導かれる。 クリーン音声推定における不確実性モデリングの利点について検討する。
  論文  参考訳（メタデータ） (2023-05-15T15:55:12Z)
• Uncertainty Propagation in Node Classification [9.03984964980373]
  本稿では,ノード分類作業におけるグラフニューラルネットワーク(GNN)の不確実性の測定に焦点をあてる。 ベイジアンモデリングフレームワークにGNNを組み込んだベイジアン不確実性伝播(BUP)法を提案する。 本稿では,GNNが学習過程における予測的不確実性を明確に統合できるようにするノード分類における不確実性指向の損失について述べる。
  論文  参考訳（メタデータ） (2023-04-03T12:18:23Z)
• Looking at the posterior: accuracy and uncertainty of neural-network predictions [0.0]
  予測精度はてんかんとアレタリック不確実性の両方に依存している。 本稿では,共通不確実性に基づく手法よりも優れた新たな獲得関数を提案する。
  論文  参考訳（メタデータ） (2022-11-26T16:13:32Z)
• Dense Uncertainty Estimation via an Ensemble-based Conditional Latent Variable Model [68.34559610536614]
  我々は、アレータリック不確実性はデータの固有の特性であり、偏見のないオラクルモデルでのみ正確に推定できると論じる。 そこで本研究では,軌道不確実性推定のためのオラクルモデルを近似するために,列車時の新しいサンプリングと選択戦略を提案する。 以上の結果から,提案手法は精度の高い決定論的結果と確実な不確実性推定の両方を達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-11-22T08:54:10Z)
• Dense Uncertainty Estimation [62.23555922631451]
  本稿では,ニューラルネットワークと不確実性推定手法について検討し,正確な決定論的予測と確実性推定の両方を実現する。 本研究では,アンサンブルに基づく手法と生成モデルに基づく手法の2つの不確実性推定法について検討し,それらの長所と短所を,完全/半端/弱度に制御されたフレームワークを用いて説明する。
  論文  参考訳（メタデータ） (2021-10-13T01:23:48Z)
• When in Doubt: Neural Non-Parametric Uncertainty Quantification for Epidemic Forecasting [70.54920804222031]
  既存の予測モデルは不確実な定量化を無視し、誤校正予測をもたらす。 不確実性を考慮した時系列予測のためのディープニューラルネットワークの最近の研究にもいくつかの制限がある。 本稿では,予測タスクを確率的生成過程としてモデル化し,EPIFNPと呼ばれる機能的ニューラルプロセスモデルを提案する。
  論文  参考訳（メタデータ） (2021-06-07T18:31:47Z)
• DEUP: Direct Epistemic Uncertainty Prediction [56.087230230128185]
  認識の不確実性は、学習者の知識の欠如によるサンプル外の予測エラーの一部である。 一般化誤差の予測を学習し, aleatoric uncertaintyの推定を減算することで, 認識的不確かさを直接推定する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-02-16T23:50:35Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。