論文の概要: BNNpriors: A library for Bayesian neural network inference with different prior distributions

• arxiv url: http://arxiv.org/abs/2105.06964v1
• Date: Fri, 14 May 2021 17:11:04 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-17 12:51:17.549771
• Title: BNNpriors: A library for Bayesian neural network inference with different prior distributions
• Title（参考訳）: bnnpriors: 事前分布が異なるベイズ型ニューラルネットワーク推論のためのライブラリ
• Authors: Vincent Fortuin, Adri\`a Garriga-Alonso, Mark van der Wilk, Laurence Aitchison
• Abstract要約: bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。 これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。 ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
• 参考スコア（独自算出の注目度）: 32.944046414823916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian neural networks have shown great promise in many applications where calibrated uncertainty estimates are crucial and can often also lead to a higher predictive performance. However, it remains challenging to choose a good prior distribution over their weights. While isotropic Gaussian priors are often chosen in practice due to their simplicity, they do not reflect our true prior beliefs well and can lead to suboptimal performance. Our new library, BNNpriors, enables state-of-the-art Markov Chain Monte Carlo inference on Bayesian neural networks with a wide range of predefined priors, including heavy-tailed ones, hierarchical ones, and mixture priors. Moreover, it follows a modular approach that eases the design and implementation of new custom priors. It has facilitated foundational discoveries on the nature of the cold posterior effect in Bayesian neural networks and will hopefully catalyze future research as well as practical applications in this area.
• Abstract（参考訳）: ベイズニューラルネットワークは、キャリブレーションされた不確実性推定が不可欠であり、しばしば高い予測性能をもたらす多くのアプリケーションで大きな可能性を示してきた。 しかし、重量よりも優れた事前分布を選択することは依然として困難である。 等方性ガウス前駆体は、しばしば単純さのため、実際に選択されるが、真の前駆的信念をよく反映せず、準最適性能につながる可能性がある。 新しいライブラリであるbnnpriorsは,重畳型,階層型,混合型など,さまざまな事前定義のあるベイズ型ニューラルネットワーク上で,最先端のマルコフ連鎖モンテカルロ推論を可能にする。 さらに、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチも踏襲している。 ベイズニューラルネットワークにおけるコールド後部効果の性質に関する基礎的な発見を促進し、将来の研究とこの分野の実践的応用を触媒することを期待している。

関連論文リスト

• Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
  我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。 圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:56:16Z)
• Bayesian Neural Networks with Domain Knowledge Priors [52.80929437592308]
  ドメイン知識の一般的な形式をBNNに組み込むためのフレームワークを提案する。 提案したドメイン知識を用いたBNNは,標準知識のBNNよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-20T22:34:53Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Hybrid Bayesian Neural Networks with Functional Probabilistic Layers [0.6091702876917281]
  機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。 GPflusはガウス的プロセス層を提供する新しいライブラリである。
  論文  参考訳（メタデータ） (2021-07-14T21:25:53Z)
• Precise characterization of the prior predictive distribution of deep ReLU networks [45.46732383818331]
  ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。 この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
  論文  参考訳（メタデータ） (2021-06-11T21:21:52Z)
• Bayesian Neural Network Priors Revisited [29.949163519715952]
  SGDを用いて訓練された異なるネットワークにおけるニューラルネットワーク重みの要約統計について検討する。 我々は、フルコネクテッドネットワーク(FCNN)は重尾重み分布を示し、畳み込みニューラルネットワーク(CNN)重みは強い空間相関を示すことを発見した。
  論文  参考訳（メタデータ） (2021-02-12T15:18:06Z)
• All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
  これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。 本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。 我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
  論文  参考訳（メタデータ） (2020-11-25T15:36:16Z)
• The Ridgelet Prior: A Covariance Function Approach to Prior Specification for Bayesian Neural Networks [4.307812758854161]
  ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。 これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
  論文  参考訳（メタデータ） (2020-10-16T16:39:45Z)
• Exploring the Uncertainty Properties of Neural Networks' Implicit Priors in the Infinite-Width Limit [47.324627920761685]
  我々は、無限大のNNのアンサンブルに先立って関数空間をガウス過程として特徴づける最近の理論的進歩を用いる。 これにより、関数空間上の暗黙の前のNNについて、よりよく理解できます。 また,従来のNNGPを用いた分類手法の校正について検討した。
  論文  参考訳（メタデータ） (2020-10-14T18:41:54Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
  ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。 グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。 確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
  論文  参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。