論文の概要: Non-asymptotic approximations of Gaussian neural networks via
second-order Poincar\'e inequalities
- arxiv url: http://arxiv.org/abs/2304.04010v1
- Date: Sat, 8 Apr 2023 13:52:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-11 18:14:54.956448
- Title: Non-asymptotic approximations of Gaussian neural networks via
second-order Poincar\'e inequalities
- Title（参考訳）: Poincar\'e不等式によるガウスニューラルネットワークの非漸近近似
- Authors: Alberto Bordino, Stefano Favaro, Sandra Fortini
- Abstract要約: 我々は、ガウスニューラルネットワーク(NN)の非漸近的あるいは定量的ガウス近似を導入する。
我々の結果は、近似誤差の厳密な推定を最適なレートで提供する2階ガウスポアンカーの不等式の使用に依存している。
- 参考スコア（独自算出の注目度）: 5.2475574493706025
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is a growing interest on large-width asymptotic properties of Gaussian
neural networks (NNs), namely NNs whose weights are initialized according to
Gaussian distributions. A well-established result is that, as the width goes to
infinity, a Gaussian NN converges in distribution to a Gaussian stochastic
process, which provides an asymptotic or qualitative Gaussian approximation of
the NN. In this paper, we introduce some non-asymptotic or quantitative
Gaussian approximations of Gaussian NNs, quantifying the approximation error
with respect to some popular distances for (probability) distributions, e.g.
the $1$-Wasserstein distance, the total variation distance and the
Kolmogorov-Smirnov distance. Our results rely on the use of second-order
Gaussian Poincar\'e inequalities, which provide tight estimates of the
approximation error, with optimal rates. This is a novel application of
second-order Gaussian Poincar\'e inequalities, which are well-known in the
probabilistic literature for being a powerful tool to obtain Gaussian
approximations of general functionals of Gaussian stochastic processes. A
generalization of our results to deep Gaussian NNs is discussed.
- Abstract（参考訳）: ガウスニューラルネットワーク(NN)の広帯域漸近特性、すなわちガウス分布に応じてウェイトが初期化されるNNに対する関心が高まっている。
良く確立された結果は、幅が無限に近づくにつれて、ガウス的NNは分布をガウス的確率過程に収束させ、このNNの漸近的あるいは定性的ガウス的近似を与えるということである。
本稿では,gaussian nn の非漸近的あるいは定量的なガウス近似を導入し,(確率)分布に対する一般的な距離に対する近似誤差,例えば 1 ドルのワッサーシュタイン距離,総変動距離,コルモゴロフ-スミルノフ距離を定量化する。
我々の結果は、近似誤差の厳密な推定を最適なレートで提供する2階ガウスポアンカー不等式の使用に依存している。
これはガウスの確率過程の一般汎函数のガウス近似を得るための強力なツールとして、確率論的文献でよく知られる二階ガウスのポアンカル不等式の新しい応用である。
より深いガウスNNに対する結果の一般化について論じる。
関連論文リスト
- Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。
ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。
我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
論文 参考訳（メタデータ） (2024-07-26T12:45:53Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳（メタデータ） (2023-12-18T22:29:40Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Quantitative Gaussian Approximation of Randomly Initialized Deep Neural
Networks [1.0878040851638]
隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。
我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
論文 参考訳（メタデータ） (2022-03-14T14:20:19Z) - Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture [0.7499722271664147]
本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。
我々の結果は、この近似が高次元問題でうまく機能することを保証している。
論文 参考訳（メタデータ） (2022-02-26T04:49:01Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳（メタデータ） (2022-02-02T20:11:33Z) - Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector
Problems [98.34292831923335]
オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。
我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
論文 参考訳（メタデータ） (2021-12-29T18:46:52Z) - High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。
そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
論文 参考訳（メタデータ） (2021-06-10T17:54:21Z) - Spectral clustering under degree heterogeneity: a case for the random
walk Laplacian [83.79286663107845]
本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。
次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
論文 参考訳（メタデータ） (2021-05-03T16:36:27Z) - Disentangling the Gauss-Newton Method and Approximate Inference for
Neural Networks [96.87076679064499]
我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。
ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。
ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
論文 参考訳（メタデータ） (2020-07-21T17:42:58Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。