論文の概要: Wide Mean-Field Bayesian Neural Networks Ignore the Data

• arxiv url: http://arxiv.org/abs/2202.11670v1
• Date: Wed, 23 Feb 2022 18:21:50 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-24 16:37:27.768159
• Title: Wide Mean-Field Bayesian Neural Networks Ignore the Data
• Title（参考訳）: ワイド平均ベイズ型ニューラルネットワークはデータを無視する
• Authors: Beau Coker, Wessel P. Bruinsma, David R. Burt, Weiwei Pan, Finale Doshi-Velez
• Abstract要約: ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。 アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
• 参考スコア（独自算出の注目度）: 29.050507540280922
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Bayesian neural networks (BNNs) combine the expressive power of deep learning with the advantages of Bayesian formalism. In recent years, the analysis of wide, deep BNNs has provided theoretical insight into their priors and posteriors. However, we have no analogous insight into their posteriors under approximate inference. In this work, we show that mean-field variational inference entirely fails to model the data when the network width is large and the activation function is odd. Specifically, for fully-connected BNNs with odd activation functions and a homoscedastic Gaussian likelihood, we show that the optimal mean-field variational posterior predictive (i.e., function space) distribution converges to the prior predictive distribution as the width tends to infinity. We generalize aspects of this result to other likelihoods. Our theoretical results are suggestive of underfitting behavior previously observered in BNNs. While our convergence bounds are non-asymptotic and constants in our analysis can be computed, they are currently too loose to be applicable in standard training regimes. Finally, we show that the optimal approximate posterior need not tend to the prior if the activation function is not odd, showing that our statements cannot be generalized arbitrarily.
• Abstract（参考訳）: ベイジアンニューラルネットワーク(BNN)は、ディープラーニングの表現力とベイジアン形式主義の利点を組み合わせる。 近年、広義の深いBNNの分析は、その先行と後部に関する理論的洞察を与えている。 しかし, 近似推定では後肢に類似した所見は認められていない。 本研究では,ネットワーク幅が大きく,アクティベーション関数が奇異な場合に,平均場変動推定が完全にデータをモデル化できないことを示す。 具体的には, 任意のアクティベーション関数を持つ完全連結BNNに対して, 最適平均場変動後予測分布(関数空間)は, 幅が無限大になるにつれて, 先行予測分布に収束することを示す。 我々はこの結果の側面を他の可能性に一般化する。 我々の理論的結果は、以前にBNNで観察された不適合な振る舞いを示唆している。 我々の収束境界は漸近的ではなく、分析の定数は計算できるが、現時点では標準の訓練体制に適用するにはゆるい。 最後に, 有効化関数が奇数でない場合, 最適近似後段は前置値に従わない傾向にあり, 提案文は任意に一般化できないことを示した。

関連論文リスト

• Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights [3.5865188519566003]
  境界パラメータを持つ非スパースディープニューラルネットワーク(DNN)に対する新しい近似理論を提案する。 非スパース一般のBNNは、真のモデルに対して、最小限の最適後部濃度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T08:31:36Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data [30.955325548635425]
  単層ベイズニューラルネットワークにおける隠れ単位の数が無限大になる傾向があるため、平均場変動推論の下での関数空間後部平均が実際に0に収束することが証明された。 これは、ガウス過程に収束する真の後影とは対照的である。
  論文  参考訳（メタデータ） (2021-06-13T17:36:38Z)
• An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
  ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。 事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-06T13:32:18Z)
• Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
  ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。 この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。 この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
  論文  参考訳（メタデータ） (2020-08-19T12:35:55Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
  モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである 本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。 本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
  論文  参考訳（メタデータ） (2020-07-10T15:14:43Z)
• Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
  正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
  論文  参考訳（メタデータ） (2020-06-18T13:57:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。