論文の概要: Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification

• arxiv url: http://arxiv.org/abs/2008.03209v2
• Date: Mon, 17 Aug 2020 15:57:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2022-11-02 00:27:06.178703
• Title: Investigating maximum likelihood based training of infinite mixtures for uncertainty quantification
• Title（参考訳）: 不確実性定量化のための無限混合の最大可能性に基づくトレーニングの検討
• Authors: Sina D\"aubener and Asja Fischer
• Abstract要約: 変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。 提案手法は, 予測分散が増大し, 敵ネットワークに繋がることがわかった。
• 参考スコア（独自算出の注目度）: 16.30200782698554
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Uncertainty quantification in neural networks gained a lot of attention in the past years. The most popular approaches, Bayesian neural networks (BNNs), Monte Carlo dropout, and deep ensembles have one thing in common: they are all based on some kind of mixture model. While the BNNs build infinite mixture models and are derived via variational inference, the latter two build finite mixtures trained with the maximum likelihood method. In this work we investigate the effect of training an infinite mixture distribution with the maximum likelihood method instead of variational inference. We find that the proposed objective leads to stochastic networks with an increased predictive variance, which improves uncertainty based identification of miss-classification and robustness against adversarial attacks in comparison to a standard BNN with equivalent network structure. The new model also displays higher entropy on out-of-distribution data.
• Abstract（参考訳）: ニューラルネットワークにおける不確かさの定量化は、近年多くの注目を集めている。 最も一般的なアプローチ、ベイジアンニューラルネットワーク(bnns)、モンテカルロドロップアウト、ディープアンサンブルには、ひとつ共通点があります。 BNNは無限混合モデルを構築し、変分推論によって導出する一方、後者の2つは最大極大法で訓練された有限混合を構築している。 本研究は,変分推論の代わりに最大極大法を用いて無限混合分布を訓練する効果について検討する。 提案手法は, 予測分散が増大する確率的ネットワークにつながり, 不確実性に基づく敵の攻撃に対するミス分類とロバスト性が, 等価ネットワーク構造を持つ標準bnnと比較して向上することを示す。 この新しいモデルは、アウトオブディストリビューションデータに対して高いエントロピーを表示する。

関連論文リスト

• Quantification of Uncertainties in Probabilistic Deep Neural Network by Implementing Boosting of Variational Inference [0.38366697175402226]
  Boosted Bayesian Neural Networks (BBNN)は、ニューラルネットワークの重み分布近似を強化する新しいアプローチである。 BBNNは従来のニューラルネットワークに比べて5%高い精度を実現している。
  論文  参考訳（メタデータ） (2025-03-18T05:11:21Z)
• Improved uncertainty quantification for neural networks with Bayesian last layer [0.0]
  不確実性定量化は機械学習において重要な課題である。 本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
  論文  参考訳（メタデータ） (2023-02-21T20:23:56Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• How to Combine Variational Bayesian Networks in Federated Learning [0.0]
  フェデレートラーニングにより、複数のデータセンターが機密データを公開することなく、協力的に中央モデルをトレーニングできる。 決定論的モデルは高い予測精度を達成することができ、キャリブレーションの欠如と不確実性を定量化する能力は、安全クリティカルなアプリケーションには問題となる。 変分ベイズニューラルネットワークに対する様々なアグリゲーションスキームの効果について検討する。
  論文  参考訳（メタデータ） (2022-06-22T07:53:12Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Robustness Certificates for Implicit Neural Networks: A Mixed Monotone Contractive Approach [60.67748036747221]
  暗黙のニューラルネットワークは、競合性能とメモリ消費の削減を提供する。 入力逆流の摂動に関して、それらは不安定なままである。 本稿では,暗黙的ニューラルネットワークのロバスト性検証のための理論的および計算的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-12-10T03:08:55Z)
• Mixtures of Laplace Approximations for Improved Post-Hoc Uncertainty in Deep Learning [24.3370326359959]
  独立に訓練された深層ニューラルネットワークのラプラス近似の重み付け和からなるガウス混合モデル後部モデルを用いて予測することを提案する。 我々は,本手法がトレーニングデータから「遠方」に過信を緩和し,標準不確実性定量化ベンチマークにおける最先端のベースラインを実証的に比較することを理論的に検証した。
  論文  参考訳（メタデータ） (2021-11-05T15:52:48Z)
• Improving Uncertainty Calibration via Prior Augmented Data [56.88185136509654]
  ニューラルネットワークは、普遍関数近似器として機能することで、複雑なデータ分布から学習することに成功した。 彼らはしばしば予測に自信過剰であり、不正確で誤った確率的予測に繋がる。 本稿では,モデルが不当に過信である特徴空間の領域を探索し,それらの予測のエントロピーをラベルの以前の分布に対して条件的に高める手法を提案する。
  論文  参考訳（メタデータ） (2021-02-22T07:02:37Z)
• Why have a Unified Predictive Uncertainty? Disentangling it using Deep Split Ensembles [39.29536042476913]
  ブラックボックスニューラルネットワーク(NN)における不確実性の理解と定量化は、医療などの現実的な環境にデプロイする場合に不可欠である。 予測の不確かさを解消するために,概念的に単純な非ベイズ的アプローチ,ディープ・スプリット・アンサンブルを提案する。
  論文  参考訳（メタデータ） (2020-09-25T19:15:26Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Regularizing Class-wise Predictions via Self-knowledge Distillation [80.76254453115766]
  類似サンプル間の予測分布を解析する新しい正規化法を提案する。 これにより、単一のネットワークの暗黒知識(すなわち誤った予測に関する知識)を規則化する。 画像分類タスクにおける実験結果から, 単純だが強力な手法が一般化能力を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-03-31T06:03:51Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。