論文の概要: Single-shot Bayesian approximation for neural networks

• arxiv url: http://arxiv.org/abs/2308.12785v1
• Date: Thu, 24 Aug 2023 13:40:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-25 13:57:59.177893
• Title: Single-shot Bayesian approximation for neural networks
• Title（参考訳）: ニューラルネットワークに対する単発ベイズ近似
• Authors: Kai Brach, Beate Sick, Oliver D\"urr
• Abstract要約: ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。 単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks (NNs) are known for their high-prediction performances. However, NNs are prone to yield unreliable predictions when encountering completely new situations without indicating their uncertainty. Bayesian variants of NNs (BNNs), such as Monte Carlo (MC) dropout BNNs, do provide uncertainty measures and simultaneously increase the prediction performance. The only disadvantage of BNNs is their higher computation time during test time because they rely on a sampling approach. Here we present a single-shot MC dropout approximation that preserves the advantages of BNNs while being as fast as NNs. Our approach is based on moment propagation (MP) and allows to analytically approximate the expected value and the variance of the MC dropout signal for commonly used layers in NNs, i.e. convolution, max pooling, dense, softmax, and dropout layers. The MP approach can convert an NN into a BNN without re-training given the NN has been trained with standard dropout. We evaluate our approach on different benchmark datasets and a simulated toy example in a classification and regression setting. We demonstrate that our single-shot MC dropout approximation resembles the point estimate and the uncertainty estimate of the predictive distribution that is achieved with an MC approach, while being fast enough for real-time deployments of BNNs. We show that using part of the saved time to combine our MP approach with deep ensemble techniques does further improve the uncertainty measures.
• Abstract（参考訳）: ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 しかし、nnは不確実性を示すことなく全く新しい状況に遭遇した場合、信頼できない予測を生じやすい。 モンテカルロ(MC)ドロップアウトBNNのようなBNNのベイズ変種は不確実性対策を提供し、同時に予測性能を向上させる。 BNNの唯一の欠点は、サンプリングアプローチに依存しているため、テスト期間中の計算時間の増加である。 ここでは、BNNの利点を保ちつつ、NNと同じくらい高速なシングルショットMCドロップアウト近似を示す。 提案手法はモーメント伝播 (mp) に基づいて, nns で一般的に使用される層,すなわち畳み込み, 最大プーリング, 密度, ソフトマックス, ドロップアウト層において, 期待値とmcドロップアウト信号の分散を解析的に近似する。 MPアプローチでは、NNが標準のドロップアウトでトレーニングされた場合、NNをBNNに再トレーニングすることなく変換することができる。 我々は,異なるベンチマークデータセットに対するアプローチと,分類と回帰設定における模擬玩具例を評価する。 我々の単発MCドロップアウト近似は,BNNのリアルタイム展開に十分高速でありながら,MCアプローチで達成される予測分布の点推定と不確実性推定に類似していることを示す。 保存時間の一部をMPアプローチとディープアンサンブル手法を組み合わせることで、不確実性対策をさらに改善できることを示す。

関連論文リスト

• Incorporating Unlabelled Data into Bayesian Neural Networks [48.25555899636015]
  本稿では,事前予測分布の適切なモデル学習に非ラベルデータを用いた自己教師付きベイズニューラルネットワークを提案する。 自己教師型BNNの事前予測分布は,従来のBNNよりも問題セマンティクスが優れていることを示す。 提案手法は, 従来のBNN, 特に低予算体制において, 予測性能を向上する。
  論文  参考訳（メタデータ） (2023-04-04T12:51:35Z)
• Constraining cosmological parameters from N-body simulations with Variational Bayesian Neural Networks [0.0]
  乗法正規化フロー (MNFs) はBNNのパラメータの近似後流の族である。 我々は,標準BNNとフリップアウト推定器についてMNFの比較を行った。 MNFは、変動近似によって導入されたバイアスを緩和する真の後部へのより現実的な予測分布を提供する。
  論文  参考訳（メタデータ） (2023-01-09T16:07:48Z)
• Data Subsampling for Bayesian Neural Networks [0.0]
  Penalty Bayesian Neural Networks - PBNNは,サブサンプルバッチデータによる可能性の評価を可能にする,新たなアルゴリズムである。 PBNNは,データサイズが小さい場合でも,予測性能が良好であることを示す。
  論文  参考訳（メタデータ） (2022-10-17T14:43:35Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• Spatial-Temporal-Fusion BNN: Variational Bayesian Feature Layer [77.78479877473899]
  我々は,BNNを大規模モデルに効率的にスケールするための時空間BNNを設計する。 バニラBNNと比較して,本手法はトレーニング時間とパラメータ数を著しく削減し,BNNのスケールアップに有効である。
  論文  参考訳（メタデータ） (2021-12-12T17:13:14Z)
• Rapid Risk Minimization with Bayesian Models Through Deep Learning Approximation [9.93116974480156]
  本稿では,ベイズモデル (BM) とニューラルネットワーク (NN) を組み合わせて,予測を最小限のリスクで行う手法を提案する。 私たちのアプローチは、BMのデータ効率と解釈可能性とNNの速度を組み合わせます。 テストデータセットに無視できる損失がある標準手法よりも、リスク最小限の予測をはるかに高速に達成する。
  論文  参考訳（メタデータ） (2021-03-29T15:08:25Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• A Bayesian Neural Network based on Dropout Regulation [0.0]
  本稿では,自動学習に用いるコントローラを用いて,トレーニング中のドロップアウト率を自動的に調整する "Dropout Regulation" (DR) を提案する。 DRは、実装がシンプルでありながら、最先端技術に匹敵する不確実性を正確に見積もることができる。
  論文  参考訳（メタデータ） (2021-02-03T09:39:50Z)
• Single Shot MC Dropout Approximation [0.0]
  本稿では,BDNN の利点を DNN よりも遅く抑える一発の MC ドロップアウト近似を提案する。 提案手法は,完全に接続されたネットワークの各層に対して,MCドロップアウト信号の期待値とばらつきを解析的に近似する。 単発MCドロップアウト近似は,予測分布の点推定と不確実性推定に類似していることを示す。
  論文  参考訳（メタデータ） (2020-07-07T09:17:17Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。