論文の概要: Bayesian Neural Network Priors Revisited

• arxiv url: http://arxiv.org/abs/2102.06571v1
• Date: Fri, 12 Feb 2021 15:18:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-15 13:20:48.249817
• Title: Bayesian Neural Network Priors Revisited
• Title（参考訳）: Bayesian Neural Networkが再訪
• Authors: Vincent Fortuin, Adri\`a Garriga-Alonso, Florian Wenzel, Gunnar R\"atsch, Richard Turner, Mark van der Wilk, Laurence Aitchison
• Abstract要約: SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。 我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。
• 参考スコア（独自算出の注目度）: 29.949163519715952
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Isotropic Gaussian priors are the de facto standard for modern Bayesian neural network inference. However, such simplistic priors are unlikely to either accurately reflect our true beliefs about the weight distributions, or to give optimal performance. We study summary statistics of neural network weights in different networks trained using SGD. We find that fully connected networks (FCNNs) display heavy-tailed weight distributions, while convolutional neural network (CNN) weights display strong spatial correlations. Building these observations into the respective priors leads to improved performance on a variety of image classification datasets. Moreover, we find that these priors also mitigate the cold posterior effect in FCNNs, while in CNNs we see strong improvements at all temperatures, and hence no reduction in the cold posterior effect.
• Abstract（参考訳）: 等方性ガウス前駆(isotropic gaussian priors)は、現代のベイズニューラルネットワーク推論のデファクトスタンダードである。 しかし、そのような単純な事前は、重み分布に関する真の信念を正確に反映するか、最適な性能を与えるかは、あり得ない。 SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。 我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。 これらの観察を事前に組み込むことで、さまざまな画像分類データセットのパフォーマンスが向上する。 さらに、これらの優先事項は、FCNNの冷後効果も緩和するが、CNNでは、すべての温度で強力な改善が見られ、冷後効果の減少は見られない。

関連論文リスト

• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Spike-and-slab shrinkage priors for structurally sparse Bayesian neural networks [0.16385815610837165]
  スパースディープラーニングは、基礎となるターゲット関数のスパース表現を復元することで、課題に対処する。 構造化された空間によって圧縮されたディープニューラルアーキテクチャは、低レイテンシ推論、データスループットの向上、エネルギー消費の削減を提供する。 本研究では, (i) Spike-and-Slab Group Lasso (SS-GL) と (ii) Spike-and-Slab Group Horseshoe (SS-GHS) を併用した過剰ノードを誘発する構造的疎いベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-17T17:14:18Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Sparsifying Bayesian neural networks with latent binary variables and normalizing flows [10.865434331546126]
  潜伏二元系ベイズニューラルネットワーク(LBBNN)の2つの拡張について検討する。 まず、隠れたユニットを直接サンプリングするためにLRT(Local Reparametrization trick)を用いることで、より計算効率の良いアルゴリズムが得られる。 さらに, LBBNNパラメータの変動後分布の正規化フローを用いて, 平均体ガウス分布よりも柔軟な変動後分布を学習する。
  論文  参考訳（メタデータ） (2023-05-05T09:40:28Z)
• Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
  初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。 幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
  論文  参考訳（メタデータ） (2023-02-01T03:18:07Z)
• Wide Bayesian neural networks have a simple weight posterior: theory and accelerated sampling [48.94555574632823]
  再帰化は、ベイズニューラルネットワーク(BNN)の後部を、層幅が大きくなるにつれてKLがBNNに分岐する分布に変換する。 我々は,BNNを高速に混合するマルコフ連鎖モンテカルロ (MCMC) 後方サンプリングアルゴリズムを開発した。 完全接続ネットワークと残留ネットワークの双方の分離を伴わないため, 最大50倍の有効試料サイズを観測した。
  論文  参考訳（メタデータ） (2022-06-15T17:11:08Z)
• BNNpriors: A library for Bayesian neural network inference with different prior distributions [32.944046414823916]
  bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
  論文  参考訳（メタデータ） (2021-05-14T17:11:04Z)
• Stochastic Bayesian Neural Networks [0.0]
  ベイズニューラルネットワークの変分推論手法を,元のエビデンス下界を用いて構築する。 我々は,エビデンス低境界と呼ばれる新たな目的関数を用いて,エビデンス低境界を最大化するベイズニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2020-08-12T19:48:34Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。