論文の概要: A Bayesian Neural Network based on Dropout Regulation

• arxiv url: http://arxiv.org/abs/2102.01968v1
• Date: Wed, 3 Feb 2021 09:39:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 17:40:54.956962
• Title: A Bayesian Neural Network based on Dropout Regulation
• Title（参考訳）: ドロップアウト制御に基づくベイズ型ニューラルネットワーク
• Authors: Claire Theobald (LORIA), Fr\'ed\'eric Pennerath (LORIA), Brieuc Conan-Guez (LORIA), Miguel Couceiro (LORIA), Amedeo Napoli (LORIA)
• Abstract要約: 本稿では,自動学習に用いるコントローラを用いて,トレーニング中のドロップアウト率を自動的に調整する "Dropout Regulation" (DR) を提案する。 DRは、実装がシンプルでありながら、最先端技術に匹敵する不確実性を正確に見積もることができる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Neural Networks (BNN) have recently emerged in the Deep Learning world for dealing with uncertainty estimation in classification tasks, and are used in many application domains such as astrophysics, autonomous driving...BNN assume a prior over the weights of a neural network instead of point estimates, enabling in this way the estimation of both aleatoric and epistemic uncertainty of the model prediction.Moreover, a particular type of BNN, namely MC Dropout, assumes a Bernoulli distribution on the weights by using Dropout.Several attempts to optimize the dropout rate exist, e.g. using a variational approach.In this paper, we present a new method called "Dropout Regulation" (DR), which consists of automatically adjusting the dropout rate during training using a controller as used in automation.DR allows for a precise estimation of the uncertainty which is comparable to the state-of-the-art while remaining simple to implement.
• Abstract（参考訳）: Bayesian Neural Networks(BNN)は最近、分類タスクにおける不確実性推定を扱うためにディープラーニングの世界に登場し、天体物理学、自動運転などの多くのアプリケーションドメインで使用されています。BNNは、ポイント推定ではなくニューラルネットワークの重みを優先して想定し、モデル予測のアレータ性および骨粗さの両方の不確実性の両方の推定を可能にし、さらに、特定のタイプのBNN、すなわちMC Dropoutは、ドロップアウトを使用して重みのBernoulli分布を仮定します。 本稿では,新しい手法「ドロップアウト・レギュレーション(dr)」を提案する。この手法は,自動化に使用されるコントローラを用いて,トレーニング中のドロップアウト率を自動的に調整することで,実装が容易でありながら,最先端に匹敵する不確実性を正確に推定する。

関連論文リスト

• Testing Spintronics Implemented Monte Carlo Dropout-Based Bayesian Neural Networks [0.7537220883022466]
  ニューラルネットワーク(BayNN)は本質的に予測の不確実性を推定し、情報的な意思決定を容易にする。 ドロップアウトベースのBayNNは、資源制約があるが高性能な安全クリティカルなアプリケーションのために、スピントロニクスベースの計算メモリアーキテクチャで実装されている。 スピントロニクスをベースとしたDropoutモジュールの非理想性をモデル化し,不確実性評価と精度への影響を解析した。
  論文  参考訳（メタデータ） (2024-01-09T09:42:27Z)
• Single-shot Bayesian approximation for neural networks [0.0]
  ディープニューラルネットワーク(NN)はその高い予測性能で知られている。 NNは不確実性を示すことなく、全く新しい状況に遭遇すると信頼できない予測を下す傾向にある。 単発MCドロップアウト近似は,BNNの利点を保ちながら,NNと同じくらい高速であることを示す。
  論文  参考訳（メタデータ） (2023-08-24T13:40:36Z)
• Collapsed Inference for Bayesian Deep Learning [36.1725075097107]
  本稿では,崩壊サンプルを用いたベイズモデル平均化を行う新しい崩壊予測手法を提案する。 崩壊したサンプルは、近似後部から引き出された数え切れないほど多くのモデルを表す。 提案手法は, スケーラビリティと精度のバランスをとる。
  論文  参考訳（メタデータ） (2023-06-16T08:34:42Z)
• UPNet: Uncertainty-based Picking Deep Learning Network for Robust First Break Picking [6.380128763476294]
  第一破砕(FB)ピッキングは地下速度モデルの決定において重要な側面である。 この処理を高速化するために、ディープニューラルネットワーク(DNN)が提案されている。 本稿では、FB選択タスクに不確実性定量化を導入し、UPNetと呼ばれる新しい不確実性に基づくディープラーニングネットワークを提案する。
  論文  参考訳（メタデータ） (2023-05-23T08:13:09Z)
• Variational Neural Networks [88.24021148516319]
  本稿では,変分ニューラルネットワーク(VNN)と呼ばれるニューラルネットワークにおける不確実性推定手法を提案する。 VNNは、学習可能なサブレイヤで入力を変換することで、レイヤの出力分布のパラメータを生成する。 不確実性評価実験において、VNNはモンテカルロ・ドロップアウトやベイズ・バイ・バックプロパゲーション法よりも優れた不確実性が得られることを示す。
  論文  参考訳（メタデータ） (2022-07-04T15:41:02Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Sampling-free Variational Inference for Neural Networks with Multiplicative Activation Noise [51.080620762639434]
  サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。 提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
  論文  参考訳（メタデータ） (2021-03-15T16:16:18Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• GraN: An Efficient Gradient-Norm Based Detector for Adversarial and Misclassified Examples [77.99182201815763]
  ディープニューラルネットワーク(DNN)は、敵対的な例やその他のデータ摂動に対して脆弱である。 GraNは、どのDNNにも容易に適応できる時間およびパラメータ効率の手法である。 GraNは多くの問題セットで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2020-04-20T10:09:27Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。