論文の概要: Robust Learning via Ensemble Density Propagation in Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2111.05953v1
• Date: Wed, 10 Nov 2021 21:26:08 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-13 04:01:57.306759
• Title: Robust Learning via Ensemble Density Propagation in Deep Neural Networks
• Title（参考訳）: 深部ニューラルネットワークにおけるエンサンブル密度伝播によるロバスト学習
• Authors: Giuseppina Carannante, Dimah Dera, Ghulam Rasool, Nidhal C. Bouaynaya, and Lyudmila Mihaylova
• Abstract要約: 本稿では,ディープニューラルネットワーク(DNN)の層を通した密度伝搬の問題を定式化し,それをエンサンブル密度伝搬法を用いて解く。 MNISTとCIFAR-10データセットを用いた実験は、ランダムノイズや敵攻撃に対するトレーニングモデルの堅牢性を大幅に改善したことを示している。
• 参考スコア（独自算出の注目度）: 6.0122901245834015
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning in uncertain, noisy, or adversarial environments is a challenging task for deep neural networks (DNNs). We propose a new theoretically grounded and efficient approach for robust learning that builds upon Bayesian estimation and Variational Inference. We formulate the problem of density propagation through layers of a DNN and solve it using an Ensemble Density Propagation (EnDP) scheme. The EnDP approach allows us to propagate moments of the variational probability distribution across the layers of a Bayesian DNN, enabling the estimation of the mean and covariance of the predictive distribution at the output of the model. Our experiments using MNIST and CIFAR-10 datasets show a significant improvement in the robustness of the trained models to random noise and adversarial attacks.
• Abstract（参考訳）: 不確実、ノイズ、あるいは敵対的な環境での学習は、ディープニューラルネットワーク(DNN)にとって難しい課題である。 ベイズ推定と変分推論に基づく頑健な学習のための理論的基礎と効率的なアプローチを提案する。 本稿では,DNNの層内における密度伝搬の問題を定式化し,Ensemble Density Propagation (EnDP) 方式を用いて解決する。 EnDPアプローチによりベイズDNNの層にまたがる変動確率分布のモーメントを伝播することができ、モデルの出力における予測分布の平均と共分散を推定できる。 MNISTとCIFAR-10データセットを用いた実験は、ランダムノイズや対向攻撃に対するトレーニングモデルのロバスト性を大幅に改善したことを示す。

関連論文リスト

• Deep Gaussian Covariance Network with Trajectory Sampling for Data-Efficient Policy Search [0.0]
  確率的世界モデルはモデルベース強化学習(MBRL)のデータ効率を向上させる 我々は,MBRL問題に対するデータ効率のよい解として,軌道サンプリングと深いガウス共分散ネットワーク(DGCN)を組み合わせることを提案する。 本研究では,4つのよく知られた実験環境を用いて,不確実性伝播法と確率モデルの組み合わせによるサンプル効率を向上する実験的なエビデンスを提案する。
  論文  参考訳（メタデータ） (2024-03-23T18:42:22Z)
• Vecchia Gaussian Process Ensembles on Internal Representations of Deep Neural Networks [0.0]
  レグレッションタスクでは、標準ガウス過程(GP)は自然な不確実性定量化を提供し、ディープニューラルネットワーク(DNN)は表現学習に優れる。 本稿では,DNNの隠れ層の出力に基づいて構築されたGPのアンサンブルからなるハイブリッド手法で,これらの2つの手法を組み合わせることを提案する。
  論文  参考訳（メタデータ） (2023-05-26T16:19:26Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• Density Regression and Uncertainty Quantification with Bayesian Deep Noise Neural Networks [4.376565880192482]
  ディープニューラルネットワーク(DNN)モデルは、幅広い教師付き学習アプリケーションにおいて最先端の予測精度を達成した。 DNN予測の不確実性を正確に定量化することは、依然として難しい課題である。 本稿では,ベイジアンディープノイズニューラルネットワーク (B-DeepNoise) を提案する。ベイジアンDNNは,ランダムノイズ変数をすべての隠蔽層に拡張することにより,標準ベイジアンDNNを一般化する。 予測精度,不確実性定量化精度,不確実性定量化効率の点で優れた性能を示した。
  論文  参考訳（メタデータ） (2022-06-12T02:47:29Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• Ramifications of Approximate Posterior Inference for Bayesian Deep Learning in Adversarial and Out-of-Distribution Settings [7.476901945542385]
  ベイジアン深層学習モデルが従来のニューラルネットワークよりわずかに優れていることを示す。 予備的な調査は、初期化、アーキテクチャ、アクティベーション関数の選択によるバイアスの潜在的固有の役割を示している。
  論文  参考訳（メタデータ） (2020-09-03T16:58:15Z)
• Network Diffusions via Neural Mean-Field Dynamics [52.091487866968286]
  本稿では,ネットワーク上の拡散の推論と推定のための新しい学習フレームワークを提案する。 本研究の枠組みは, ノード感染確率の正確な進化を得るために, モリ・ズワンジッヒ形式から導かれる。 我々のアプローチは、基礎となる拡散ネットワークモデルのバリエーションに対して多用途で堅牢である。
  論文  参考訳（メタデータ） (2020-06-16T18:45:20Z)
• Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
  本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。 そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。 最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
  論文  参考訳（メタデータ） (2020-03-10T03:10:41Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。