論文の概要: Characteristics of Monte Carlo Dropout in Wide Neural Networks

• arxiv url: http://arxiv.org/abs/2007.05434v1
• Date: Fri, 10 Jul 2020 15:14:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 21:44:06.428571
• Title: Characteristics of Monte Carlo Dropout in Wide Neural Networks
• Title（参考訳）: 広帯域ニューラルネットワークにおけるモンテカルロドロップアウトの特性
• Authors: Joachim Sicking, Maram Akila, Tim Wirtz, Sebastian Houben, Asja Fischer
• Abstract要約: モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである 本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。 本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
• 参考スコア（独自算出の注目度）: 16.639005039546745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Monte Carlo (MC) dropout is one of the state-of-the-art approaches for uncertainty estimation in neural networks (NNs). It has been interpreted as approximately performing Bayesian inference. Based on previous work on the approximation of Gaussian processes by wide and deep neural networks with random weights, we study the limiting distribution of wide untrained NNs under dropout more rigorously and prove that they as well converge to Gaussian processes for fixed sets of weights and biases. We sketch an argument that this property might also hold for infinitely wide feed-forward networks that are trained with (full-batch) gradient descent. The theory is contrasted by an empirical analysis in which we find correlations and non-Gaussian behaviour for the pre-activations of finite width NNs. We therefore investigate how (strongly) correlated pre-activations can induce non-Gaussian behavior in NNs with strongly correlated weights.
• Abstract（参考訳）: Monte Carlo(MC)ドロップアウトは、ニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである。 ほぼベイズ推論を行うと解釈されている。 ランダム重みを持つ広層および深層ニューラルネットワークによるガウス過程の近似に関する以前の研究に基づいて、ドロップアウト下での広範囲に訓練されていないnnの制限分布をより厳密に研究し、それらは重みとバイアスの固定集合に対するガウス過程に収束することが証明された。 この性質は、(フルバッチ)勾配勾配で訓練された無限に広いフィードフォワードネットワークにも適用できるという議論をスケッチする。 この理論は、有限幅nnの事前活性化に対する相関と非ガウシアン挙動を見いだす経験的解析によって対照的である。 したがって、(強く)相関したプレアクティベーションが、強く相関した重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。

関連論文リスト

• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Wide Neural Networks as Gaussian Processes: Lessons from Deep Equilibrium Models [16.07760622196666]
  本研究では,層間における共有重み行列を持つ無限深度ニューラルネットワークであるDeep equilibrium Model (DEQ)について検討する。 解析により,DEC層の幅が無限大に近づくにつれ,ガウス過程に収束することが明らかとなった。 注目すべきは、この収束は深さと幅の限界が交換されても成り立つことである。
  論文  参考訳（メタデータ） (2023-10-16T19:00:43Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Posterior Inference on Shallow Infinitely Wide Bayesian Neural Networks under Weights with Unbounded Variance [1.5960546024967326]
  1つの隠れた層を持つベイズニューラルネットワークの無限幅スケーリング限界は、ネットワーク重みが事前の分散に束縛されたガウス過程であることが知られている。 Nealの結果は、複数の隠蔽層を持つネットワークや、ガウスのプロセススケーリング制限を伴う畳み込みニューラルネットワークにまで拡張されている。 我々の貢献は、条件付きガウス表現を用いて、後部推論の解釈可能かつ計算学的に効率的な手順であり、非ガウス系におけるトラクタブルな後部推論と不確実な定量化のためにガウス過程の機械をフル活用することができる。
  論文  参考訳（メタデータ） (2023-05-18T02:55:00Z)
• Bayesian inference with finitely wide neural networks [0.4568777157687961]
  確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。 ベイズ回帰課題における非ガウス的後部分布を導出できる。
  論文  参考訳（メタデータ） (2023-03-06T03:25:30Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
  ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。 特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
  論文  参考訳（メタデータ） (2022-03-27T15:22:19Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)
• Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
  ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。 また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T15:13:27Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。