論文の概要: Do Bayesian Variational Autoencoders Know What They Don't Know?

• arxiv url: http://arxiv.org/abs/2212.14272v1
• Date: Thu, 29 Dec 2022 11:48:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:48:01.040774
• Title: Do Bayesian Variational Autoencoders Know What They Don't Know?
• Title（参考訳）: ベイズ変分オートエンコーダは知らないことを知っていますか?
• Authors: Misha Glazunov and Apostolis Zarras
• Abstract要約: OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。 入力の密度を推定できる深部生成モデルでさえ、信頼できない可能性があることが以前に示されている。 本稿では,マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ勾配,およびウェイト平均ガウスの3つの推論手法について検討する。
• 参考スコア（独自算出の注目度）: 0.6091702876917279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The problem of detecting the Out-of-Distribution (OoD) inputs is of paramount importance for Deep Neural Networks. It has been previously shown that even Deep Generative Models that allow estimating the density of the inputs may not be reliable and often tend to make over-confident predictions for OoDs, assigning to them a higher density than to the in-distribution data. This over-confidence in a single model can be potentially mitigated with Bayesian inference over the model parameters that take into account epistemic uncertainty. This paper investigates three approaches to Bayesian inference: stochastic gradient Markov chain Monte Carlo, Bayes by Backpropagation, and Stochastic Weight Averaging-Gaussian. The inference is implemented over the weights of the deep neural networks that parameterize the likelihood of the Variational Autoencoder. We empirically evaluate the approaches against several benchmarks that are often used for OoD detection: estimation of the marginal likelihood utilizing sampled model ensemble, typicality test, disagreement score, and Watanabe-Akaike Information Criterion. Finally, we introduce two simple scores that demonstrate the state-of-the-art performance.
• Abstract（参考訳）: OoD(Out-of-Distribution)入力を検出する問題は、ディープニューラルネットワークにとって最重要課題である。 以前にも、入力の密度を推定できる深い生成モデルでさえ信頼性が低く、しばしばoodの信頼性の高い予測を行い、分散データよりも高い密度を割り当てる傾向があることが示されている。 単一のモデルにおけるこの過信は、疫学的不確実性を考慮したモデルパラメータに対するベイズ推定によって緩和される可能性がある。 本稿では,確率勾配マルコフ連鎖モンテカルロ,バックプロパゲーションによるベイズ,および確率重み平均ガウスの3つのベイズ推定手法について検討する。 この推論は、変分オートエンコーダの可能性をパラメータ化するディープニューラルネットワークの重みの上に実装される。 我々は,OoD検出によく用いられるいくつかのベンチマークに対するアプローチとして,サンプルモデルアンサンブル,典型性テスト,不一致スコア,渡辺赤池情報基準を用いた限界確率の推定を行った。 最後に,最先端のパフォーマンスを示す単純なスコアを2つ紹介する。

関連論文リスト

• Confidence Aware Learning for Reliable Face Anti-spoofing [52.23271636362843]
  本稿では,その能力境界を意識した信頼認識顔アンチスプーフィングモデルを提案する。 各サンプルの予測中にその信頼性を推定する。 実験の結果,提案したCA-FASは予測精度の低いサンプルを効果的に認識できることがわかった。
  論文  参考訳（メタデータ） (2024-11-02T14:29:02Z)
• Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
  本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。 本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。 その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
  論文  参考訳（メタデータ） (2024-07-11T19:58:19Z)
• Evidence Networks: simple losses for fast, amortized, neural Bayesian model comparison [0.0]
  Evidence Networksは、最先端のメソッドがフェールした場合にベイズモデルの比較を可能にする。 リークパリティオード電力変換を導入し、新しいl-POP-Exponential'損失関数を導出する。 Evidence Networks はパラメータ空間の次元性に明示的に依存しており、後続確率密度関数の複雑さと軽度にスケール可能であることを示す。
  論文  参考訳（メタデータ） (2023-05-18T18:14:53Z)
• Diffusion Causal Models for Counterfactual Estimation [18.438307666925425]
  本稿では,観測画像データから因果構造を推定する作業について考察する。 Diff-SCMは,近年の発電エネルギーモデルの発展を基盤とした構造因果モデルである。 Diff-SCMはMNISTデータに基づくベースラインよりも現実的で最小限のデファクトアルを生成しており、ImageNetデータにも適用可能である。
  論文  参考訳（メタデータ） (2022-02-21T12:23:01Z)
• Training on Test Data with Bayesian Adaptation for Covariate Shift [96.3250517412545]
  ディープニューラルネットワークは、信頼できない不確実性推定で不正確な予測を行うことが多い。 分布シフトの下でのラベルなし入力とモデルパラメータとの明確に定義された関係を提供するベイズモデルを導出する。 本手法は精度と不確実性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2021-09-27T01:09:08Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。