論文の概要: Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings
- arxiv url: http://arxiv.org/abs/2009.01798v2
- Date: Sat, 3 Oct 2020 14:46:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-22 06:49:20.161967
- Title: Ramifications of Approximate Posterior Inference for Bayesian Deep
Learning in Adversarial and Out-of-Distribution Settings
- Title（参考訳）: 逆・外分布設定におけるベイズ深層学習における近似的後部推論の変異
- Authors: John Mitros and Arjun Pakrashi and Brian Mac Namee
- Abstract要約: ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
- 参考スコア（独自算出の注目度）: 7.476901945542385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep neural networks have been successful in diverse discriminative
classification tasks, although, they are poorly calibrated often assigning high
probability to misclassified predictions. Potential consequences could lead to
trustworthiness and accountability of the models when deployed in real
applications, where predictions are evaluated based on their confidence scores.
Existing solutions suggest the benefits attained by combining deep neural
networks and Bayesian inference to quantify uncertainty over the models'
predictions for ambiguous datapoints. In this work we propose to validate and
test the efficacy of likelihood based models in the task of out of distribution
detection (OoD). Across different datasets and metrics we show that Bayesian
deep learning models on certain occasions marginally outperform conventional
neural networks and in the event of minimal overlap between in/out distribution
classes, even the best models exhibit a reduction in AUC scores in detecting
OoD data. Preliminary investigations indicate the potential inherent role of
bias due to choices of initialisation, architecture or activation functions. We
hypothesise that the sensitivity of neural networks to unseen inputs could be a
multi-factor phenomenon arising from the different architectural design choices
often amplified by the curse of dimensionality. Furthermore, we perform a study
to find the effect of the adversarial noise resistance methods on in and
out-of-distribution performance, as well as, also investigate adversarial noise
robustness of Bayesian deep learners.
- Abstract（参考訳）: ディープニューラルネットワークは、様々な識別的分類タスクで成功しているが、分類された予測に高い確率を割り当てる場合が多い。
潜在的な結果は、実際のアプリケーションにデプロイされたモデルの信頼性と説明責任につながり、その信頼性スコアに基づいて予測が評価される。
既存のソリューションは、深層ニューラルネットワークとベイズ推論を組み合わせて、曖昧なデータポイントに対するモデルの予測に対する不確実性を定量化することで得られる利点を示唆している。
本研究では,分布検出(OoD)の課題において,確率に基づくモデルの有効性を検証することを提案する。
データセットとメトリクスの相違から,ベイジアン深層学習モデルでは,従来のニューラルネットワークを極端に上回り,イン/アウト分布クラス間の重複が最小限である場合には,OoDデータ検出時のAUCスコアの低下を示す。
予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
我々は、ニューラルネットワークの入力の見当たらない感度は、次元の呪いによってしばしば増幅される異なる設計上の選択から生じる多要素現象であると仮定する。
さらに,ベイズ深層学習者の逆雑音のロバスト性について検討するとともに,分布内および分布外性能に及ぼす逆雑音抵抗法の影響について検討した。
関連論文リスト
- Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。
本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
論文 参考訳（メタデータ） (2024-02-08T22:05:45Z) - Neural State-Space Models: Empirical Evaluation of Uncertainty
Quantification [0.0]
本稿では,ニューラル状態空間モデルを用いたシステム同定のための不確実性定量化に関する予備的結果を示す。
ベイズ確率的設定で学習問題をフレーム化し、ニューラルネットワークの重みと出力の後方分布を求める。
後部に基づいて,出力の信頼区間を構築し,潜在的に危険なアウト・オブ・ディストリビューション体制下でモデルの使用を効果的に診断できるサプライズ指標を定義する。
論文 参考訳（メタデータ） (2023-04-13T08:57:33Z) - Uncertainty Estimation by Fisher Information-based Evidential Deep
Learning [61.94125052118442]
不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。
漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。
特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
論文 参考訳（メタデータ） (2023-03-03T16:12:59Z) - Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。
RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
論文 参考訳（メタデータ） (2023-02-28T13:17:56Z) - Do Bayesian Variational Autoencoders Know What They Don't Know? [0.6091702876917279]
OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。
入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。
本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
論文 参考訳（メタデータ） (2022-12-29T11:48:01Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Calibration and Uncertainty Quantification of Bayesian Convolutional
Neural Networks for Geophysical Applications [0.0]
このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。
一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。
ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
論文 参考訳（メタデータ） (2021-05-25T17:54:23Z) - Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。
彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。
本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
論文 参考訳（メタデータ） (2021-02-22T07:02:37Z) - Towards Trustworthy Predictions from Deep Neural Networks with Fast
Adversarial Calibration [2.8935588665357077]
本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。
本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
論文 参考訳（メタデータ） (2020-12-20T13:39:29Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳（メタデータ） (2020-03-10T03:10:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。