論文の概要: Exact priors of finite neural networks
- arxiv url: http://arxiv.org/abs/2104.11734v1
- Date: Fri, 23 Apr 2021 17:31:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-26 13:11:58.967150
- Title: Exact priors of finite neural networks
- Title（参考訳）: 有限ニューラルネットワークの精密前処理
- Authors: Jacob A. Zavatone-Veth and Cengiz Pehlevan
- Abstract要約: 最近の研究は、有限ベイズネットワークが無限のそれより優れていることを示唆している。
以上の結果から,先行する有限ネットワーク事前記述を,そのテール減衰と大幅挙動の観点から統一する。
- 参考スコア（独自算出の注目度）: 20.864082353441685
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Bayesian neural networks are theoretically well-understood only in the
infinite-width limit, where Gaussian priors over network weights yield Gaussian
priors over network outputs. Recent work has suggested that finite Bayesian
networks may outperform their infinite counterparts, but their non-Gaussian
output priors have been characterized only though perturbative approaches.
Here, we derive exact solutions for the output priors for individual input
examples of a class of finite fully-connected feedforward Bayesian neural
networks. For deep linear networks, the prior has a simple expression in terms
of the Meijer $G$-function. The prior of a finite ReLU network is a mixture of
the priors of linear networks of smaller widths, corresponding to different
numbers of active units in each layer. Our results unify previous descriptions
of finite network priors in terms of their tail decay and large-width behavior.
- Abstract（参考訳）: ベイズニューラルネットワークは理論上、ネットワーク重みよりもガウスが優先する無限幅の限界においてのみよく理解されている。
最近の研究は、有限ベイズネットワークが無限のネットワークよりも優れていることを示唆しているが、その非ガウスの出力先行は摂動的アプローチによってのみ特徴づけられる。
ここで、有限完全連結フィードフォワード・ベイズ型ニューラルネットワークの個々の入力例に対する出力優先の厳密な解を求める。
深い線形ネットワークの場合、前者はMeijer$G$-functionという用語で単純な表現を持つ。
有限reluネットワークの事前は、より狭い幅の線形ネットワークの事前の混合であり、各層内の異なるアクティブユニット数に対応する。
以上の結果から,先行する有限ネットワーク事前記述を,そのテール減衰と大幅挙動の観点から統一する。
関連論文リスト
- LinSATNet: The Positive Linear Satisfiability Neural Networks [116.65291739666303]
本稿では,ニューラルネットワークに人気の高い正の線形満足度を導入する方法について検討する。
本稿では,古典的なシンクホーンアルゴリズムを拡張し,複数の辺分布の集合を共同で符号化する,最初の微分可能満足層を提案する。
論文 参考訳（メタデータ） (2024-07-18T22:05:21Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Bayesian Interpolation with Deep Linear Networks [92.1721532941863]
ニューラルネットワークの深さ、幅、データセットサイズがモデル品質にどう影響するかを特徴付けることは、ディープラーニング理論における中心的な問題である。
線形ネットワークが無限深度で証明可能な最適予測を行うことを示す。
また、データに依存しない先行法により、広い線形ネットワークにおけるベイズ模型の証拠は無限の深さで最大化されることを示す。
論文 参考訳（メタデータ） (2022-12-29T20:57:46Z) - Robust Training and Verification of Implicit Neural Networks: A
Non-Euclidean Contractive Approach [64.23331120621118]
本稿では,暗黙的ニューラルネットワークのトレーニングとロバスト性検証のための理論的および計算的枠組みを提案する。
組込みネットワークを導入し、組込みネットワークを用いて、元のネットワークの到達可能な集合の超近似として$ell_infty$-normボックスを提供することを示す。
MNISTデータセット上で暗黙的なニューラルネットワークをトレーニングするためにアルゴリズムを適用し、我々のモデルの堅牢性と、文献における既存のアプローチを通じてトレーニングされたモデルを比較する。
論文 参考訳（メタデータ） (2022-08-08T03:13:24Z) - On the Neural Tangent Kernel Analysis of Randomly Pruned Neural Networks [91.3755431537592]
ニューラルネットワークのニューラルカーネル(NTK)に重みのランダムプルーニングが及ぼす影響について検討する。
特に、この研究は、完全に接続されたニューラルネットワークとそのランダムに切断されたバージョン間のNTKの等価性を確立する。
論文 参考訳（メタデータ） (2022-03-27T15:22:19Z) - Precise characterization of the prior predictive distribution of deep
ReLU networks [45.46732383818331]
ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。
この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
論文 参考訳（メタデータ） (2021-06-11T21:21:52Z) - Asymptotics of representation learning in finite Bayesian neural
networks [19.809493085603673]
有限ネットワークの学習された隠蔽層表現は無限ネットワークの固定表現と異なることを示す。
その結果,ベイジアンニューラルネットワークがどの特徴を表現できるかを解明し始めた。
論文 参考訳（メタデータ） (2021-06-01T17:30:30Z) - BNNpriors: A library for Bayesian neural network inference with
different prior distributions [32.944046414823916]
bnnpriorsはベイズニューラルネットワーク上で最先端のマルコフ連鎖モンテカルロ推論を可能にする。
これは、新しいカスタムプリエントの設計と実装を容易にするモジュラーアプローチに従っている。
ベイズ系ニューラルネットワークにおける冷後効果の性質に関する基礎的発見を容易にした。
論文 参考訳（メタデータ） (2021-05-14T17:11:04Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。
中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。
重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
論文 参考訳（メタデータ） (2020-07-31T01:57:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。