論文の概要: Exact posterior distributions of wide Bayesian neural networks

• arxiv url: http://arxiv.org/abs/2006.10541v2
• Date: Thu, 26 Nov 2020 10:36:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:48:44.327595
• Title: Exact posterior distributions of wide Bayesian neural networks
• Title（参考訳）: 広ベイズ型ニューラルネットワークの正確な後方分布
• Authors: Jiri Hron and Yasaman Bahri and Roman Novak and Jeffrey Pennington and Jascha Sohl-Dickstein
• Abstract要約: 正確なBNN後方収束は、前者のGP限界によって誘導されるものと(弱く)収束することを示す。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。
• 参考スコア（独自算出の注目度）: 51.20413322972014
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent work has shown that the prior over functions induced by a deep Bayesian neural network (BNN) behaves as a Gaussian process (GP) as the width of all layers becomes large. However, many BNN applications are concerned with the BNN function space posterior. While some empirical evidence of the posterior convergence was provided in the original works of Neal (1996) and Matthews et al. (2018), it is limited to small datasets or architectures due to the notorious difficulty of obtaining and verifying exactness of BNN posterior approximations. We provide the missing theoretical proof that the exact BNN posterior converges (weakly) to the one induced by the GP limit of the prior. For empirical validation, we show how to generate exact samples from a finite BNN on a small dataset via rejection sampling.
• Abstract（参考訳）: 近年の研究では、ディープベイズニューラルネットワーク(bnn)によって引き起こされる事前関数は、全ての層幅が大きくなるにつれてガウス過程(gp)として振る舞うことが示されている。 しかし、多くのBNNアプリケーションは、BNN関数空間の後方に関係している。 1996年) と Matthews et al. (2018年) のオリジナルの著作では、後続収束の実証的な証拠が提示されているが、BNN後続近似の正確性を取得し検証することの難しさから、小さなデータセットやアーキテクチャに限られている。 我々は、正確なBNN後続が、前者のGP極限によって誘導されるものと(弱く)収束するという、欠落した理論的証明を与える。 実験的な検証のために、リジェクションサンプリングにより、小さなデータセット上で有限BNNから正確なサンプルを生成する方法を示す。

関連論文リスト

• Posterior concentrations of fully-connected Bayesian neural networks with general priors on the weights [3.5865188519566003]
  境界パラメータを持つ非スパースディープニューラルネットワーク(DNN)に対する新しい近似理論を提案する。 非スパース一般のBNNは、真のモデルに対して、最小限の最適後部濃度を達成できることを示す。
  論文  参考訳（メタデータ） (2024-03-21T08:31:36Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• Wide Mean-Field Bayesian Neural Networks Ignore the Data [29.050507540280922]
  ネットワーク幅が大きい場合,平均場変動推定はデータのモデル化に完全に失敗することを示す。 アクティベーション関数が奇数でない場合、最適近似後続関数は先行関数に従わなくてもよいことを示す。
  論文  参考訳（メタデータ） (2022-02-23T18:21:50Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• An Infinite-Feature Extension for Bayesian ReLU Nets That Fixes Their Asymptotic Overconfidence [65.24701908364383]
  ベイズ処理は、トレーニングデータを取り巻くReLUネットの過信を軽減することができる。 しかし、彼らから遠く離れたところでは、ReLUニューラルネットワーク(BNN)はいまだに不確実性を過小評価し過ぎている可能性がある。 事前学習した任意のReLU BNNに対して,低コストでemphpost-hocを適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-06T13:32:18Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Predicting the outputs of finite deep neural networks trained with noisy gradients [1.1470070927586014]
  広深部ニューラルネットワーク(DNN)をガウス過程(GP)として近似して研究する最近の研究のシリーズ 本稿では、雑音、重み減衰、有限幅を含むDNNトレーニングプロトコルについて考察する。 その後、この非ガウス過程を分析するために解析的枠組みが導入され、GPからの偏差は有限幅で制御される。
  論文  参考訳（メタデータ） (2020-04-02T18:00:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。