論文の概要: The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks
- arxiv url: http://arxiv.org/abs/2010.08488v4
- Date: Tue, 11 Jan 2022 13:56:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-06 20:20:31.221422
- Title: The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks
- Title（参考訳）: リッジレット事前:ベイズニューラルネットワークの事前仕様に対する共分散関数アプローチ
- Authors: Takuo Matsubara and Chris J. Oates and Fran\c{c}ois-Xavier Briol
- Abstract要約: ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
- 参考スコア（独自算出の注目度）: 4.307812758854161
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bayesian neural networks attempt to combine the strong predictive performance
of neural networks with formal quantification of uncertainty associated with
the predictive output in the Bayesian framework. However, it remains unclear
how to endow the parameters of the network with a prior distribution that is
meaningful when lifted into the output space of the network. A possible
solution is proposed that enables the user to posit an appropriate Gaussian
process covariance function for the task at hand. Our approach constructs a
prior distribution for the parameters of the network, called a ridgelet prior,
that approximates the posited Gaussian process in the output space of the
network. In contrast to existing work on the connection between neural networks
and Gaussian processes, our analysis is non-asymptotic, with finite sample-size
error bounds provided. This establishes the universality property that a
Bayesian neural network can approximate any Gaussian process whose covariance
function is sufficiently regular. Our experimental assessment is limited to a
proof-of-concept, where we demonstrate that the ridgelet prior can out-perform
an unstructured prior on regression problems for which a suitable Gaussian
process prior can be provided.
- Abstract（参考訳）: ベイジアンニューラルネットワークは、ニューラルネットワークの強い予測性能と、ベイジアンフレームワークの予測出力に関連する不確実性の形式的定量化を組み合わせようとする。
しかし、ネットワークの出力空間に持ち上げられたときに意味のある事前分布をネットワークのパラメータに与える方法はまだ不明である。
タスクに対して適切なガウスプロセス共分散関数を提案できる可能性のあるソリューションが提案されている。
提案手法は、ネットワークの出力空間における擬似ガウス過程を近似した、リッジレット事前と呼ばれる、ネットワークのパラメータの事前分布を構築する。
ニューラルネットワークとガウス過程の接続に関する既存の研究とは対照的に,本解析は非漸近的であり,有限サンプルサイズ誤差境界が提供されている。
これは、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できる普遍性を確立する。
実験評価は概念実証に限定し,適切なガウス過程が提供できる回帰問題に対して,リッジレットプリアーが非構造化プリアーよりも優れることを示す。
関連論文リスト
- Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。
ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。
我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
論文 参考訳（メタデータ） (2024-07-26T12:45:53Z) - Tractable Function-Space Variational Inference in Bayesian Neural
Networks [72.97620734290139]
ニューラルネットワークの予測不確かさを推定するための一般的なアプローチは、ネットワークパラメータに対する事前分布を定義することである。
本稿では,事前情報を組み込むスケーラブルな関数空間変動推論手法を提案する。
提案手法は,様々な予測タスクにおいて,最先端の不確実性評価と予測性能をもたらすことを示す。
論文 参考訳（メタデータ） (2023-12-28T18:33:26Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Semantic Strengthening of Neuro-Symbolic Learning [85.6195120593625]
ニューロシンボリックアプローチは一般に確率論的目的のファジィ近似を利用する。
トラクタブル回路において,これを効率的に計算する方法を示す。
我々は,Warcraftにおける最小コストパスの予測,最小コスト完全マッチングの予測,スドクパズルの解法という3つの課題に対して,アプローチを検証した。
論文 参考訳（メタデータ） (2023-02-28T00:04:22Z) - Probabilistic Verification of ReLU Neural Networks via Characteristic
Functions [11.489187712465325]
我々は、周波数領域における確率理論のアイデアを用いて、ReLUニューラルネットワークの確率論的検証保証を提供する。
我々は、(深い)フィードフォワードニューラルネットワークを有限地平線上の離散力学系として解釈する。
出力集合の累積分布関数を求め,ネットワークが期待通りに動作しているかどうかを確認する。
論文 参考訳（メタデータ） (2022-12-03T05:53:57Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Precise characterization of the prior predictive distribution of deep
ReLU networks [45.46732383818331]
ガウス重み付き有限幅ReLUネットワークの事前予測分布を正確に推定する。
この結果は,例えば,ネットワークの重みについて,深さと幅にインフォームドされた事前の予測分散を制御するなど,事前設計に関する貴重なガイダンスを提供する。
論文 参考訳（メタデータ） (2021-06-11T21:21:52Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - All You Need is a Good Functional Prior for Bayesian Deep Learning [15.10662960548448]
これはベイジアンディープラーニングの極めて限定的な側面である、と我々は主張する。
本稿では,ニューラルネットワークの先行機能に適合する,新しい,堅牢なフレームワークを提案する。
我々は、これらの先行をスケーラブルなマルコフ連鎖モンテカルロサンプリングと結合させることで、体系的に大きな性能改善をもたらすという膨大な実験的な証拠を提供する。
論文 参考訳（メタデータ） (2020-11-25T15:36:16Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。