論文の概要: Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations

• arxiv url: http://arxiv.org/abs/2002.03704v4
• Date: Wed, 10 Mar 2021 09:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 07:51:39.884011
• Title: Liberty or Depth: Deep Bayesian Neural Nets Do Not Need Complex Weight Posterior Approximations
• Title（参考訳）: 自由か深さか:深ベイズニューラルネットワークは複雑な後部近似を必要としない
• Authors: Sebastian Farquhar, Lewis Smith, Yarin Gal
• Abstract要約: より浅いネットワークによって引き起こされる関数空間に類似した分布を誘導できることを示す。 以上の結果から,より深いモデルにおける平均場変動推定は,構造化近似に対する実用的かつ理論的に妥当な代替手段であることが示唆された。
• 参考スコア（独自算出の注目度）: 40.384018112884874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We challenge the longstanding assumption that the mean-field approximation for variational inference in Bayesian neural networks is severely restrictive, and show this is not the case in deep networks. We prove several results indicating that deep mean-field variational weight posteriors can induce similar distributions in function-space to those induced by shallower networks with complex weight posteriors. We validate our theoretical contributions empirically, both through examination of the weight posterior using Hamiltonian Monte Carlo in small models and by comparing diagonal- to structured-covariance in large settings. Since complex variational posteriors are often expensive and cumbersome to implement, our results suggest that using mean-field variational inference in a deeper model is both a practical and theoretically justified alternative to structured approximations.
• Abstract（参考訳）: ベイジアンニューラルネットワークにおける変分推論の平均場近似は厳しく制限的であり、ディープネットワークではそうではないという長年の仮定に挑戦する。 深部平均場変動重み後部は, 複雑な重み後部を有する浅部ネットワークによって引き起こされる機能空間に類似した分布を誘導できることを示す。 小型モデルにおけるハミルトニアンモンテカルロの重量と,大規模環境での対角--構造共分散を比較することにより,理論的な貢献を実証的に検証した。 複雑変分後部はしばしば高価で実装が難しいため,より深いモデルにおける平均場変分推論の使用は,構造化近似に代わる実用的かつ理論的に正当化された代替手段である可能性が示唆された。

関連論文リスト

• Function-Space MCMC for Bayesian Wide Neural Networks [9.899763598214124]
  本研究では,プレコンディション付きクランク・ニコソン法とそのランゲヴィン法を用いて,重みの分離後分布の標本化を行った。 提案手法の受容確率は,ネットワークの幅が大きくなるにつれて1に近づく。
  論文  参考訳（メタデータ） (2024-08-26T14:54:13Z)
• Posterior and variational inference for deep neural networks with heavy-tailed weights [0.0]
  我々は、ネットワーク重みをランダムにサンプリングする事前分布を持つベイズフレームワークにおいて、ディープニューラルネットワークを考察する。 後部分布は, ほぼ最適のミニマックス収縮速度を達成できることを示す。 また, 実験結果の変分ベイズ版も提供し, 平均場変分近似は, ほぼ最適理論的支援の恩恵を受けていることを示した。
  論文  参考訳（メタデータ） (2024-06-05T15:24:20Z)
• Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
  ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。 線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。 また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
  論文  参考訳（メタデータ） (2022-12-29T20:57:46Z)
• Variational Laplace Autoencoders [53.08170674326728]
  変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。 完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。 また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
  論文  参考訳（メタデータ） (2022-11-30T18:59:27Z)
• The edge of chaos: quantum field theory and deep neural networks [0.0]
  我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。 我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。 我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
  論文  参考訳（メタデータ） (2021-09-27T18:00:00Z)
• Improving Bayesian Inference in Deep Neural Networks with Variational Structured Dropout [19.16094166903702]
  ベイズネットワークにおける近似推論として,ドロップアウトトレーニングの解釈に触発された新しい変分構造近似を提案する。 そこで,この限界を克服するために,Variational Structured Dropout (VSD) と呼ばれる新しい手法を提案する。 標準ベンチマークの実験を行い、予測精度と不確実性推定の両方において、最新手法に対するVSDの有効性を実証します。
  論文  参考訳（メタデータ） (2021-02-16T02:33:43Z)
• Bayesian Deep Ensembles via the Neural Tangent Kernel [49.569912265882124]
  我々は、ニューラルタンジェントカーネル(NTK)のレンズを通して、ディープアンサンブルとガウス過程(GP)の関連を探索する。 そこで本研究では,各アンサンブルメンバーに対して,計算可能でランダム化され,訓練不能な関数を追加することで,標準的なディープアンサンブルトレーニングに簡単な修正を加える。 我々はベイズ深部アンサンブルが無限幅極限における標準深部アンサンブルよりも保守的な予測を行うことを証明した。
  論文  参考訳（メタデータ） (2020-07-11T22:10:52Z)
• Being Bayesian, Even Just a Bit, Fixes Overconfidence in ReLU Networks [65.24701908364383]
  我々は、ReLUネットワーク上の不確実性に対する十分条件が「少しベイズ校正される」ことを示す。 さらに,これらの知見を,共通深部ReLUネットワークとLaplace近似を用いた各種標準実験により実証的に検証した。
  論文  参考訳（メタデータ） (2020-02-24T08:52:06Z)
• The k-tied Normal Distribution: A Compact Parameterization of Gaussian Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
  変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。 最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。 これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
  論文  参考訳（メタデータ） (2020-02-07T07:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。