Fugu-MT 論文翻訳(概要): Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data

論文の概要: Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data

arxiv url: http://arxiv.org/abs/2106.07052v1
Date: Sun, 13 Jun 2021 17:36:38 GMT
ステータス: 処理完了
システム内更新日: 2021-06-17 18:05:09.281616
Title: Wide Mean-Field Variational Bayesian Neural Networks Ignore the Data
Title（参考訳）: 広帯域平均場変動ベイズ型ニューラルネットワークによるデータ無視
Authors: Beau Coker, Weiwei Pan, Finale Doshi-Velez
Abstract要約: 単層ベイズニューラルネットワークにおける隠れ単位の数が無限大になる傾向があるため、平均場変動推論の下での関数空間後部平均が実際に0に収束することが証明された。これは、ガウス過程に収束する真の後影とは対照的である。
参考スコア（独自算出の注目度）: 30.955325548635425
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Variational inference enables approximate posterior inference of the highly over-parameterized neural networks that are popular in modern machine learning. Unfortunately, such posteriors are known to exhibit various pathological behaviors. We prove that as the number of hidden units in a single-layer Bayesian neural network tends to infinity, the function-space posterior mean under mean-field variational inference actually converges to zero, completely ignoring the data. This is in contrast to the true posterior, which converges to a Gaussian process. Our work provides insight into the over-regularization of the KL divergence in variational inference.
Abstract（参考訳）: 変分推論は、現代の機械学習で人気がある超過パラメータニューラルネットワークの近似的な後進推論を可能にする。残念なことに、そのような後肢は様々な病理行動を示すことが知られている。単層ベイズニューラルネットワークにおける隠れ単位の数が無限大になる傾向にあるため、平均場変動推論の下での関数空間後部平均は0に収束し、データを完全に無視する。これはガウス過程に収束する真の後流とは対照的である。我々の研究は、変分推論におけるKL分散の過正規化に関する洞察を提供する。

関連論文リスト

On the detrimental effect of invariances in the likelihood for variational inference [21.912271882110986]
変分ベイズ後部推論は、トラクタビリティを確保するために平均場パラメトリゼーションのような近似を単純化する必要があることが多い。これまでの研究は、ベイズニューラルネットワークの変動平均場近似と、小さなデータセットや大きなモデルサイズの場合の不適合を関連付けてきた。
論文参考訳（メタデータ） (2022-09-15T09:13:30Z)
Asymptotic Properties for Bayesian Neural Network in Besov Space [1.90365714903665]
スパイク・アンド・スラブの事前整合性を用いたベイズニューラルネットワークは, 真の回帰関数がベソフ空間にある場合, ほぼ最小収束率を有することを示す。保証された特性を持つ実用的なニューラルネットワークを提案する。
論文参考訳（メタデータ） (2022-06-01T05:47:06Z)
Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
論文参考訳（メタデータ） (2022-02-23T18:21:50Z)
Redundant representations help generalization in wide neural networks [71.38860635025907]
様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
論文参考訳（メタデータ） (2021-06-07T10:18:54Z)
Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
論文参考訳（メタデータ） (2021-06-06T19:08:53Z)
Learning Invariances in Neural Networks [51.20867785006147]
ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
論文参考訳（メタデータ） (2020-10-22T17:18:48Z)
Probabilistic Numeric Convolutional Neural Networks [80.42120128330411]
画像や時系列などの連続的な入力信号は、不規則にサンプリングされたり、値が欠けていたりすることは、既存のディープラーニング手法では困難である。ガウス過程(GP)として特徴を表す確率的畳み込みニューラルネットワークを提案する。次に、畳み込み層を、このGP上で定義されたPDEの進化として定義し、次いで非線形性とする。実験では,SuperPixel-MNISTデータセットの先行技術と医療時間2012データセットの競合性能から,提案手法の誤差を3倍に削減できることが示されている。
論文参考訳（メタデータ） (2020-10-21T10:08:21Z)
An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
論文参考訳（メタデータ） (2020-10-06T13:32:18Z)
Exact posterior distributions of wide Bayesian neural networks [51.20413322972014]
正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
論文参考訳（メタデータ） (2020-06-18T13:57:04Z)
Bayesian Neural Network via Stochastic Gradient Descent [0.0]
本稿では,勾配推定手法を用いてベイズニューラルネットワークに勾配推定を適用する方法を示す。我々の研究はベイジアンニューラルネットワークを用いた回帰手法のこれまでの状況を大きく上回っている。
論文参考訳（メタデータ） (2020-06-04T18:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。