論文の概要: Entropic bounds for conditionally Gaussian vectors and applications to neural networks

• arxiv url: http://arxiv.org/abs/2504.08335v1
• Date: Fri, 11 Apr 2025 08:00:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:20:33.151756
• Title: Entropic bounds for conditionally Gaussian vectors and applications to neural networks
• Title（参考訳）: 条件付きガウスベクトルのエントロピー境界とニューラルネットワークへの応用
• Authors: Lucia Celli, Giovanni Peccati,
• Abstract要約: 我々は、条件付きガウス法則と可逆共分散行列を持つガウス法則の間の全変分と2-ワッサーシュタイン距離に関する新しい境界を与える。 ランダムに連結されたニューラルネットワークのガウスに収束速度を定量化するために,本結果を適用した。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Using entropic inequalities from information theory, we provide new bounds on the total variation and 2-Wasserstein distances between a conditionally Gaussian law and a Gaussian law with invertible covariance matrix. We apply our results to quantify the speed of convergence to Gaussian of a randomly initialized fully connected neural network and its derivatives - evaluated in a finite number of inputs - when the initialization is Gaussian and the sizes of the inner layers diverge to infinity. Our results require mild assumptions on the activation function, and allow one to recover optimal rates of convergence in a variety of distances, thus improving and extending the findings of Basteri and Trevisan (2023), Favaro et al. (2023), Trevisan (2024) and Apollonio et al. (2024). One of our main tools are the quantitative cumulant estimates established in Hanin (2024). As an illustration, we apply our results to bound the total variation distance between the Bayesian posterior law of the neural network and its derivatives, and the posterior law of the corresponding Gaussian limit: this yields quantitative versions of a posterior CLT by Hron et al. (2022), and extends several estimates by Trevisan (2024) to the total variation metric.
• Abstract（参考訳）: 情報理論からのエントロピック不等式を用いて、条件付きガウス法則と可逆共分散行列を持つガウス法則の間の総変分と2-ワッサーシュタイン距離の新たな境界を与える。 この結果を用いて、ランダムに初期化された完全連結ニューラルネットワークとその導関数のガウスへの収束速度を定量化し、初期化がガウスであり、内部層の大きさが無限大に変化するとき、有限個の入力で評価する。 この結果は, 活性化関数に対する軽度な仮定を必要とし, 様々な距離における収束の最適率を回復させることで, バステリとトレビサン(2023年), ファバロとアル(2023年), トレビサン(2024年), アポロニオとアル(2024年)の発見を改善・拡張する。 主なツールの1つは、ハニン(2024年)で確立された量的累積推定である。 実例として、ニューラルネットワークのベイズ的後法則とそれに対応するガウス的極限の後方法則との総変分距離を定め、Hron et al (2022) による後部CLTの定量的バージョンを出力し、Travisan (2024) によるいくつかの推定値を全変量に拡張する。

関連論文リスト

• Verification of Geometric Robustness of Neural Networks via Piecewise Linear Approximation and Lipschitz Optimisation [57.10353686244835]
  我々は、回転、スケーリング、せん断、翻訳を含む入力画像の幾何学的変換に対するニューラルネットワークの検証の問題に対処する。 提案手法は, 分枝・分枝リプシッツと組み合わせたサンプリングおよび線形近似を用いて, 画素値に対する楽音線形制約を求める。 提案手法では,既存の手法よりも最大32%の検証ケースが解決されている。
  論文  参考訳（メタデータ） (2024-08-23T15:02:09Z)
• Wide Deep Neural Networks with Gaussian Weights are Very Close to Gaussian Processes [1.0878040851638]
  ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。 また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
  論文  参考訳（メタデータ） (2023-12-18T22:29:40Z)
• Consistency of some sequential experimental design strategies for excursion set estimation based on vector-valued Gaussian processes [0.32634122554914]
  ステップワイド不確かさ低減のための連続実験設計戦略において,ベクトル値の整合性のケースの拡張に取り組んだ。 本研究では, 自動海洋サンプリングのためのベクトル値付きガウス確率場の探索集合, The Annals of Applied Statistics 15, 2021] を用いて, ベクトル値付き関数の探索集合を推定するために, 統合ベルヌーイ変数と期待値の不確実性関数に適用する。
  論文  参考訳（メタデータ） (2023-10-11T09:02:03Z)
• Law of Large Numbers for Bayesian two-layer Neural Network trained with Variational Inference [0.0]
  ベイズニューラルネットワークの変分推論(VI)によるトレーニングの厳密な分析を行う。 3つの異なるトレーニングスキームに対して、多数の法則を証明します。 重要な結果は、すべてのメソッドが同じ平均場極限に収束することである。
  論文  参考訳（メタデータ） (2023-07-10T07:50:09Z)
• Efficient Bound of Lipschitz Constant for Convolutional Layers by Gram Iteration [122.51142131506639]
  循環行列理論を用いて畳み込み層のスペクトルノルムに対して、精密で高速で微分可能な上界を導入する。 提案手法は, 精度, 計算コスト, スケーラビリティの観点から, 他の最先端手法よりも優れていることを示す。 これは畳み込みニューラルネットワークのリプシッツ正則化に非常に効果的であり、並行アプローチに対する競合的な結果である。
  論文  参考訳（メタデータ） (2023-05-25T15:32:21Z)
• Non-asymptotic approximations of Gaussian neural networks via second-order Poincar\'e inequalities [5.2475574493706025]
  我々は、ガウスニューラルネットワーク(NN)の非漸近的あるいは定量的ガウス近似を導入する。 我々の結果は、近似誤差の厳密な推定を最適なレートで提供する2階ガウスポアンカーの不等式の使用に依存している。
  論文  参考訳（メタデータ） (2023-04-08T13:52:10Z)
• Neural signature kernels as infinite-width-depth-limits of controlled ResNets [5.306881553301636]
  ニューラル制御微分方程式のオイラー離散化として定義されるランダム制御ResNet(ニューラルCDE)を考える。 無限幅幅の極限と適切なスケーリングの下では、これらのアーキテクチャは連続経路のある空間にインデックス付けされたガウス過程に弱収束することを示す。 有限幅制御されたResNetは,無限深度系において,ランダムなベクトル場を持つニューラルCDEに分布することを示す。
  論文  参考訳（メタデータ） (2023-03-30T19:20:16Z)
• Robust Estimation for Nonparametric Families via Generative Adversarial Networks [92.64483100338724]
  我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。 我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。 技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-02T20:11:33Z)
• Divergence Frontiers for Generative Models: Sample Complexity, Quantization Level, and Frontier Integral [58.434753643798224]
  多様性フロンティアは生成モデルの評価フレームワークとして提案されている。 分岐フロンティアのプラグイン推定器のサンプル複雑性の非漸近的境界を確立する。 また,スムーズな分布推定器の統計的性能を調べることにより,分散フロンティアの枠組みも強化する。
  論文  参考訳（メタデータ） (2021-06-15T06:26:25Z)
• A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
  平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。 平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
  論文  参考訳（メタデータ） (2020-08-21T18:00:50Z)
• The Convergence Indicator: Improved and completely characterized parameter bounds for actual convergence of Particle Swarm Optimization [68.8204255655161]
  我々は、粒子が最終的に単一点に収束するか、分岐するかを計算するのに使用できる新しい収束指標を導入する。 この収束指標を用いて、収束群につながるパラメータ領域を完全に特徴づける実際の境界を提供する。
  論文  参考訳（メタデータ） (2020-06-06T19:08:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。