論文の概要: Non-asymptotic approximations of Gaussian neural networks via second-order Poincaré inequalities

• arxiv url: http://arxiv.org/abs/2304.04010v2
• Date: Sat, 21 Jun 2025 10:53:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.096374
• Title: Non-asymptotic approximations of Gaussian neural networks via second-order Poincaré inequalities
• Title（参考訳）: 2次ポアンカレ不等式によるガウスニューラルネットワークの非漸近近似
• Authors: Alberto Bordino, Stefano Favaro, Sandra Fortini,
• Abstract要約: NNの出力に対するQCLTを確立するための代替手法として,2次ポインカーの不等式(Poincar'e inequalities)を用いる方法を検討する。 NNの出力に対するQCLTの確立には,我々のアプローチがいかに有効かを示す。
• 参考スコア（独自算出の注目度）: 6.499759302108927
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is a recent and growing literature on large-width asymptotic and non-asymptotic properties of deep Gaussian neural networks (NNs), namely NNs with weights initialized as Gaussian distributions. For a Gaussian NN of depth $L\geq1$ and width $n\geq1$, it is well-known that, as $n\rightarrow+\infty$, the NN's output converges (in distribution) to a Gaussian process. Recently, some quantitative versions of this result, also known as quantitative central limit theorems (QCLTs), have been obtained, showing that the rate of convergence is $n^{-1}$, in the $2$-Wasserstein distance, and that such a rate is optimal. In this paper, we investigate the use of second-order Poincar\'e inequalities as an alternative approach to establish QCLTs for the NN's output. Previous approaches consist of a careful analysis of the NN, by combining non-trivial probabilistic tools with ad-hoc techniques that rely on the recursive definition of the network, typically by means of an induction argument over the layers, and it is unclear if and how they still apply to other NN's architectures. Instead, the use of second-order Poincar\'e inequalities rely only on the fact that the NN is a functional of a Gaussian process, reducing the problem of establishing QCLTs to the algebraic problem of computing the gradient and Hessian of the NN's output, which still applies to other NN's architectures. We show how our approach is effective in establishing QCLTs for the NN's output, though it leads to suboptimal rates of convergence. We argue that such a worsening in the rates is peculiar to second-order Poincar\'e inequalities, and it should be interpreted as the "cost" for having a straightforward, and general, procedure for obtaining QCLTs.
• Abstract（参考訳）: ディープ・ガウス・ニューラルネット(NN)の広幅漸近的・非漸近的特性、すなわちウェイトがガウス分布として初期化されるNNに関する近年の文献がある。 深さ$L\geq1$と幅$n\geq1$のガウスNNでは、$n\rightarrow+\infty$として、NNの出力がガウス過程に収束することが知られている。 近年、量的中心極限定理(QCLTs)とも呼ばれるこの結果の定量的なバージョンが得られ、収束率は2ドル=ワッサーシュタイン距離において$n^{-1}$であり、そのような速度が最適であることが示されている。 本稿では,NNの出力に対してQCLTを確立するための代替手法として,二階ポアンカーの不等式(Poincar\'e inequality)を用いる方法を検討する。 従来の手法は,ネットワークの再帰的定義に依存する非自明な確率的ツールとアドホックな手法を組み合わせることで,NNの注意深い分析で構成されていた。 代わりに、二階ポアンカーの不等式の使用は、NNがガウス過程の関数であるという事実にのみ依存しており、QCLTを確立するという問題を、NNの出力の勾配とヘッセンの代数的問題に還元し、他のNNのアーキテクチャにも適用している。 NNの出力に対するQCLTの確立には,我々のアプローチがいかに有効かを示す。 このようなレートの悪化は二階ポアンカーの不等式に特有のものであり、QCLTを得るための単純で一般的な手順を持つための「コスト」として解釈されるべきである。

関連論文リスト

• Finite Neural Networks as Mixtures of Gaussian Processes: From Provable Error Bounds to Prior Selection [11.729744197698718]
  有限幅と深さのニューラルネットワークを近似するアルゴリズム的枠組みを提案する。 ニューラルネットワークの各層の出力分布をガウス過程の混合として反復的に近似する。 我々の結果は、ニューラルネットワークの予測を理解するための重要なステップである。
  論文  参考訳（メタデータ） (2024-07-26T12:45:53Z)
• Score-based generative models break the curse of dimensionality in learning a family of sub-Gaussian probability distributions [5.801621787540268]
  標準ガウス測度に対する相対密度の観点から確率分布の複雑性の概念を導入する。 パラメータが適切に有界なニューラルネットワークで対数相対密度を局所的に近似できるなら、経験的スコアマッチングによって生成された分布はターゲット分布を近似する。 本証明の重要な要素は,前処理に付随する真のスコア関数に対する次元自由深部ニューラルネットワーク近似率を導出することである。
  論文  参考訳（メタデータ） (2024-02-12T22:02:23Z)
• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Quantitative Gaussian Approximation of Randomly Initialized Deep Neural Networks [1.0878040851638]
  隠れ層と出力層のサイズがネットワークのガウス的振る舞いにどのように影響するかを示す。 我々の明示的な不等式は、隠蔽層と出力層がネットワークのガウス的振る舞いにどのように影響するかを示している。
  論文  参考訳（メタデータ） (2022-03-14T14:20:19Z)
• Theoretical Error Analysis of Entropy Approximation for Gaussian Mixture [0.7499722271664147]
  本稿では,真のエントロピーと近似値との近似誤差を分析し,この近似が有効に動作するかどうかを明らかにする。 我々の結果は、この近似が高次元問題でうまく機能することを保証している。
  論文  参考訳（メタデータ） (2022-02-26T04:49:01Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Nonconvex Stochastic Scaled-Gradient Descent and Generalized Eigenvector Problems [98.34292831923335]
  オンライン相関解析の問題から,emphStochastic Scaled-Gradient Descent (SSD)アルゴリズムを提案する。 我々はこれらのアイデアをオンライン相関解析に適用し、局所収束率を正規性に比例した最適な1時間スケールのアルゴリズムを初めて導いた。
  論文  参考訳（メタデータ） (2021-12-29T18:46:52Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Spectral clustering under degree heterogeneity: a case for the random walk Laplacian [83.79286663107845]
  本稿では,ランダムウォークラプラシアンを用いたグラフスペクトル埋め込みが,ノード次数に対して完全に補正されたベクトル表現を生成することを示す。 次数補正ブロックモデルの特別な場合、埋め込みはK個の異なる点に集中し、コミュニティを表す。
  論文  参考訳（メタデータ） (2021-05-03T16:36:27Z)
• Disentangling the Gauss-Newton Method and Approximate Inference for Neural Networks [96.87076679064499]
  我々は一般化されたガウスニュートンを解き、ベイズ深層学習の近似推論を行う。 ガウス・ニュートン法は基礎となる確率モデルを大幅に単純化する。 ガウス過程への接続は、新しい関数空間推論アルゴリズムを可能にする。
  論文  参考訳（メタデータ） (2020-07-21T17:42:58Z)
• Mean-Field Approximation to Gaussian-Softmax Integral with Application to Uncertainty Estimation [23.38076756988258]
  ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。 平均場近似式を用いて解析的に難解な積分を計算する。 実験的に,提案手法は最先端の手法と比較して競合的に機能する。
  論文  参考訳（メタデータ） (2020-06-13T07:32:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。