論文の概要: All You Need is a Good Functional Prior for Bayesian Deep Learning
- arxiv url: http://arxiv.org/abs/2011.12829v2
- Date: Mon, 25 Apr 2022 16:25:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-21 02:01:12.935384
- Title: All You Need is a Good Functional Prior for Bayesian Deep Learning
- Title（参考訳）: ベイズ深層学習に必要なのはただひとつ
- Authors: Ba-Hien Tran and Simone Rossi and Dimitrios Milios and Maurizio
Filippone
- Abstract要約: これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。
本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。
我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
- 参考スコア（独自算出の注目度）: 15.10662960548448
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The Bayesian treatment of neural networks dictates that a prior distribution
is specified over their weight and bias parameters. This poses a challenge
because modern neural networks are characterized by a large number of
parameters, and the choice of these priors has an uncontrolled effect on the
induced functional prior, which is the distribution of the functions obtained
by sampling the parameters from their prior distribution. We argue that this is
a hugely limiting aspect of Bayesian deep learning, and this work tackles this
limitation in a practical and effective way. Our proposal is to reason in terms
of functional priors, which are easier to elicit, and to "tune" the priors of
neural network parameters in a way that they reflect such functional priors.
Gaussian processes offer a rigorous framework to define prior distributions
over functions, and we propose a novel and robust framework to match their
prior with the functional prior of neural networks based on the minimization of
their Wasserstein distance. We provide vast experimental evidence that coupling
these priors with scalable Markov chain Monte Carlo sampling offers
systematically large performance improvements over alternative choices of
priors and state-of-the-art approximate Bayesian deep learning approaches. We
consider this work a considerable step in the direction of making the
long-standing challenge of carrying out a fully Bayesian treatment of neural
networks, including convolutional neural networks, a concrete possibility.
- Abstract（参考訳）: ニューラルネットワークのベイズ処理は、その重みとバイアスパラメータに対して事前分布が指定されていることを決定づける。
これは、現代のニューラルネットワークには多くのパラメータが特徴であり、これらのプリミティブの選択は、そのプリミティブ分布からパラメータをサンプリングして得られる関数の分布である誘導機能プリミティブに制御されない影響を持つため、課題となる。
これはベイズ深層学習の非常に制限された側面であり、この研究は実用的で効果的な方法でこの制限に取り組みます。
提案手法は,ニューラルネットワークのパラメータの事前化を,そのような機能的事前化を反映した方法で「調整」することを目的としている。
ガウス過程は関数上の事前分布を定義するための厳密な枠組みを提供し、ワッサースタイン距離の最小化に基づくニューラルネットワークの機能的先行とそれらの先行とをマッチさせる新しい頑健な枠組みを提案する。
我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと組み合わせることで、先行の代替選択と最先端のベイズ的ディープラーニングアプローチよりも体系的に大きな性能向上が得られるという膨大な実験的な証拠を提供する。
この研究は、畳み込みニューラルネットワークを含むニューラルネットワークを完全にベイズ処理するという長年にわたる課題を、具体的可能性として実現するための、大きな一歩だと考えている。
関連論文リスト
- High-Fidelity Transfer of Functional Priors for Wide Bayesian Neural Networks by Learning Activations [1.0468715529145969]
トレーニング可能なアクティベーションが,BNN上で複雑な関数空間にどのように対応できるかを示す。
本稿では,識別可能性,損失構成,対称性などの重要な学習課題について論じる。
実験により,単一の広層層を有するBNNであっても,高忠実度関数空間を効果的に実現できることが判明した。
論文 参考訳（メタデータ） (2024-10-21T08:42:10Z) - Unrolled denoising networks provably learn optimal Bayesian inference [54.79172096306631]
我々は、近似メッセージパッシング(AMP)のアンロールに基づくニューラルネットワークの最初の厳密な学習保証を証明した。
圧縮センシングでは、製品から引き出されたデータに基づいてトレーニングを行うと、ネットワークの層がベイズAMPで使用されるのと同じデノイザーに収束することを示す。
論文 参考訳（メタデータ） (2024-09-19T17:56:16Z) - Continual Learning via Sequential Function-Space Variational Inference [65.96686740015902]
連続学習を逐次関数空間変動推論として定式化した目的を提案する。
ニューラルネットワークの予測を直接正規化する目的と比較して、提案した目的はより柔軟な変動分布を可能にする。
タスクシーケンスの範囲で、逐次関数空間変動推論によってトレーニングされたニューラルネットワークは、関連する手法でトレーニングされたネットワークよりも予測精度が良いことを実証した。
論文 参考訳（メタデータ） (2023-12-28T18:44:32Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - MARS: Meta-Learning as Score Matching in the Function Space [79.73213540203389]
本稿では,一連の関連するデータセットから帰納バイアスを抽出する手法を提案する。
機能的ベイズニューラルネットワーク推論を用いて、前者をプロセスとみなし、関数空間で推論を行う。
本手法は,データ生成プロセスのスコア関数をメタラーニングすることにより,複雑な事前知識をシームレスに獲得し,表現することができる。
論文 参考訳（メタデータ） (2022-10-24T15:14:26Z) - Hybrid Bayesian Neural Networks with Functional Probabilistic Layers [0.6091702876917281]
機能不確実性を符号化する機能的確率層を持つハイブリッドベイズニューラルネットワークを提案する。
GPflusはガウス的プロセス層を提供する新しいライブラリである。
論文 参考訳（メタデータ） (2021-07-14T21:25:53Z) - BNNpriors: A library for Bayesian neural network inference with
different prior distributions [32.944046414823916]
bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。
これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。
ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
論文 参考訳（メタデータ） (2021-05-14T17:11:04Z) - Dimension-robust Function Space MCMC With Neural Network Priors [0.0]
本稿では、関数の領域の次元においてより有利にスケールする関数空間に関する新しい先例を紹介する。
その結果得られた未知関数の後方は、ヒルベルト空間マルコフ連鎖モンテカルロ法を用いてサンプリングできることがわかった。
我々の優先順位は競争的であり、他の関数空間よりも異なる利点があることを示している。
論文 参考訳（メタデータ） (2020-12-20T14:52:57Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。
グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。
確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文 参考訳（メタデータ） (2020-01-28T18:25:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。