論文の概要: Improving Bayesian Inference in Deep Neural Networks with Variational Structured Dropout

• arxiv url: http://arxiv.org/abs/2102.07927v1
• Date: Tue, 16 Feb 2021 02:33:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 15:17:35.577002
• Title: Improving Bayesian Inference in Deep Neural Networks with Variational Structured Dropout
• Title（参考訳）: 分散構造ドロップアウトによる深層ニューラルネットワークのベイズ推論の改善
• Authors: Son Nguyen and Duong Nguyen and Khai Nguyen and Nhat Ho and Khoat Than and Hung Bui
• Abstract要約: ベイズネットワークにおける近似推論として,ドロップアウトトレーニングの解釈に触発された新しい変分構造近似を提案する。 そこで,この限界を克服するために,Variational Structured Dropout (VSD) と呼ばれる新しい手法を提案する。 標準ベンチマークの実験を行い、予測精度と不確実性推定の両方において、最新手法に対するVSDの有効性を実証します。
• 参考スコア（独自算出の注目度）: 19.16094166903702
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Approximate inference in deep Bayesian networks exhibits a dilemma of how to yield high fidelity posterior approximations while maintaining computational efficiency and scalability. We tackle this challenge by introducing a new variational structured approximation inspired by the interpretation of Dropout training as approximate inference in Bayesian probabilistic models. Concretely, we focus on restrictions of the factorized structure of Dropout posterior which is inflexible to capture rich correlations among weight parameters of the true posterior, and we then propose a novel method called Variational Structured Dropout (VSD) to overcome this limitation. VSD employs an orthogonal transformation to learn a structured representation on the variational Dropout noise and consequently induces statistical dependencies in the approximate posterior. We further gain expressive Bayesian modeling for VSD via proposing a hierarchical Dropout procedure that corresponds to the joint inference in a Bayesian network. Moreover, we can scale up VSD to modern deep convolutional networks in a direct way with a low computational cost. Finally, we conduct extensive experiments on standard benchmarks to demonstrate the effectiveness of VSD over state-of-the-art methods on both predictive accuracy and uncertainty estimation.
• Abstract（参考訳）: ディープベイズネットワークにおける近似推論は、計算効率とスケーラビリティを保ちながら、高忠実度後部近似を得る方法のジレンマを示す。 ベイズ確率モデルにおける近似推論としてのドロップアウトトレーニングの解釈に触発された新しい変分構造近似を導入することで,この課題に取り組む。 具体的には, 実後方の重量パラメータ間の相関が不十分な投下後方の因子化構造の制約に着目し, この制限を克服するために, 変分構造化投下(vsd)と呼ばれる新しい手法を提案する。 vsdは直交変換を用い、変分ドロップアウトノイズの構造化表現を学習し、その結果、近似後方の統計的依存関係を誘導する。 さらに、ベイジアンネットワークにおける関節推論に対応する階層的なドロップアウト手順を提案することにより、VSDの表現的ベイジアンモデルを得る。 さらに,VSDを最近の深層畳み込みネットワークに,計算コストの低い直接的にスケールアップすることができる。 最後に, 予測精度と不確実性評価の両面において, 最先端手法に対するVSDの有効性を示すために, 標準ベンチマークの広範な実験を行った。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Improving Transferability of Adversarial Examples via Bayesian Attacks [84.90830931076901]
  モデル入力にベイズ定式化を組み込むことにより,モデル入力とモデルパラメータの共分散を可能にする新しい拡張を導入する。 提案手法は,トランスファーベース攻撃に対する新たな最先端技術を実現し,ImageNetとCIFAR-10の平均成功率をそれぞれ19.14%,2.08%向上させる。
  論文  参考訳（メタデータ） (2023-07-21T03:43:07Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• Accelerated replica exchange stochastic gradient Langevin diffusion enhanced Bayesian DeepONet for solving noisy parametric PDEs [7.337247167823921]
  本稿では,DeepONetsのニューラルネットワークアーキテクチャを利用したレプリカ交換型Langevin拡散のトレーニングフレームワークを提案する。 提案するフレームワークの探索と活用機能により,ノイズの多いシナリオにおけるDeepONetsのトレーニング収束性の向上が期待できることを示す。 また,レプリカ交換型Langeving Diffusionにより,雑音のシナリオにおけるDeepONetの平均予測精度も向上することを示す。
  論文  参考訳（メタデータ） (2021-11-03T19:23:59Z)
• Regularizing Variational Autoencoder with Diversity and Uncertainty Awareness [61.827054365139645]
  変分オートエンコーダ(VAE)は、償却変分推論に基づいて潜伏変数の後部を近似する。 よりディバースで不確実な潜在空間を学習するための代替モデルDU-VAEを提案する。
  論文  参考訳（メタデータ） (2021-10-24T07:58:13Z)
• A Variational Bayesian Approach to Learning Latent Variables for Acoustic Knowledge Transfer [55.20627066525205]
  本稿では,ディープニューラルネットワーク(DNN)モデルにおける潜伏変数の分布を学習するための変分ベイズ(VB)アプローチを提案する。 我々の提案するVBアプローチは,ターゲットデバイスにおいて良好な改善が得られ,しかも,13の最先端知識伝達アルゴリズムを一貫して上回っている。
  論文  参考訳（メタデータ） (2021-10-16T15:54:01Z)
• Calibration and Uncertainty Quantification of Bayesian Convolutional Neural Networks for Geophysical Applications [0.0]
  このような地下モデルによる予測の不確実性は、キャリブレーションされた確率と関連する不確かさを予測に組み込むのが一般的である。 一般的なディープラーニングベースのモデルは、しばしば誤解され、決定論的性質のため、予測の不確実性を解釈する手段がないことが示されている。 ベイズ形式論における畳み込みニューラルネットワークに基づく確率モデルを得るための3つの異なるアプローチを比較した。
  論文  参考訳（メタデータ） (2021-05-25T17:54:23Z)
• Towards Trustworthy Predictions from Deep Neural Networks with Fast Adversarial Calibration [2.8935588665357077]
  本稿では,ドメインシフト後に得られたサンプルに対して,信頼度の高い信頼度を得るための効率的かつ汎用的なモデリング手法を提案する。 本稿では,エントロピー増大損失項と逆キャリブレーション損失項を組み合わせた新しいトレーニング戦略を導入し,この結果が適切に調整され,技術的に信頼できる予測となることを示す。
  論文  参考訳（メタデータ） (2020-12-20T13:39:29Z)
• An Ode to an ODE [78.97367880223254]
  我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。 この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
  論文  参考訳（メタデータ） (2020-06-19T22:05:19Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。