論文の概要: Bayesian inference with finitely wide neural networks
- arxiv url: http://arxiv.org/abs/2303.02859v2
- Date: Thu, 25 May 2023 20:48:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-29 20:33:34.519497
- Title: Bayesian inference with finitely wide neural networks
- Title（参考訳）: 有限幅ニューラルネットワークを用いたベイズ推定
- Authors: Chi-Ken Lu
- Abstract要約: 確率的ニューラルネットワークから出力の有限集合をモデル化するために,微分形式の非ガウス分布を提案する。
ベイズ回帰課題における非ガウス的後部分布を導出できる。
- 参考スコア（独自算出の注目度）: 0.4568777157687961
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The analytic inference, e.g. predictive distribution being in closed form,
may be an appealing benefit for machine learning practitioners when they treat
wide neural networks as Gaussian process in Bayesian setting. The realistic
widths, however, are finite and cause weak deviation from the Gaussianity under
which partial marginalization of random variables in a model is
straightforward. On the basis of multivariate Edgeworth expansion, we propose a
non-Gaussian distribution in differential form to model a finite set of outputs
from a random neural network, and derive the corresponding marginal and
conditional properties. Thus, we are able to derive the non-Gaussian posterior
distribution in Bayesian regression task. In addition, in the bottlenecked deep
neural networks, a weight space representation of deep Gaussian process, the
non-Gaussianity is investigated through the marginal kernel.
- Abstract（参考訳）: 解析的推論(例えば、予測分布は閉じた形で行われる)は、広いニューラルネットワークをベイズ設定のガウス過程として扱う機械学習実践者にとって魅力的な利点となるかもしれない。
しかし、現実的な幅は有限であり、モデル内の確率変数の偏辺化が単純であるガウス性から弱い偏差を引き起こす。
多変量エッジワース展開に基づき、ランダムニューラルネットワークからの出力の有限集合をモデル化し、対応する辺および条件特性を導出するために微分形式の非ガウス分布を提案する。
したがって,ベイズ回帰課題における非ガウス的後方分布を導出することができる。
さらに、深いガウス過程の重み空間表現であるボトルネック付きディープニューラルネットワークにおいて、非ガウス性は限界核を通して研究される。
関連論文リスト
- A Non-negative VAE:the Generalized Gamma Belief Network [49.970917207211556]
ガンマ信念ネットワーク(GBN)は、テキストデータ中の多層解釈可能な潜在表現を明らかにする可能性を実証している。
本稿では、一般化ガンマ信念ネットワーク(Generalized GBN)を導入し、元の線形生成モデルをより表現力のある非線形生成モデルに拡張する。
また、潜伏変数の後方分布を近似する上向きのワイブル推論ネットワークを提案する。
論文 参考訳（メタデータ） (2024-08-06T18:18:37Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Quantitative Gaussian Approximation of Randomly Initialized Deep Neural
Networks [1.0878040851638]
隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。
我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
論文 参考訳（メタデータ） (2022-03-14T14:20:19Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - The Ridgelet Prior: A Covariance Function Approach to Prior
Specification for Bayesian Neural Networks [4.307812758854161]
ネットワークの出力空間における擬似ガウス過程を近似したネットワークのパラメータに対する事前分布を構築する。
これにより、ベイズニューラルネットワークが共分散関数が十分正則である任意のガウス過程を近似できるという性質が確立される。
論文 参考訳（メタデータ） (2020-10-16T16:39:45Z) - Improving predictions of Bayesian neural nets via local linearization [79.21517734364093]
ガウス・ニュートン近似は基礎となるベイズニューラルネットワーク(BNN)の局所線形化として理解されるべきである。
この線形化モデルを後部推論に使用するので、元のモデルではなく、この修正モデルを使用することも予測すべきである。
この修正された予測を"GLM predictive"と呼び、Laplace近似の共通不適合問題を効果的に解決することを示す。
論文 参考訳（メタデータ） (2020-08-19T12:35:55Z) - Characteristics of Monte Carlo Dropout in Wide Neural Networks [16.639005039546745]
モンテカルロ(MC)ドロップアウトはニューラルネットワーク(NN)における不確実性推定のための最先端のアプローチの1つである
本研究では, 降雨時の広帯域NNの制限分布についてより厳密に検討し, 一定の重みと偏りの集合に対してガウス過程に収束することが証明された。
本研究では,(強く)相関したプレアクティベーションが,強相関重みを持つNNにおいて非ガウス的行動を引き起こすかを検討する。
論文 参考訳（メタデータ） (2020-07-10T15:14:43Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。