論文の概要: Phase Transitions in the Fluctuations of Functionals of Random Neural Networks
- arxiv url: http://arxiv.org/abs/2604.19738v2
- Date: Thu, 23 Apr 2026 09:10:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-24 14:40:06.030874
- Title: Phase Transitions in the Fluctuations of Functionals of Random Neural Networks
- Title(参考訳): ランダムニューラルネットワークの関数のゆらぎにおける相転移
- Authors: Simmaco Di Lillo, Leonardo Maini, Domenico Marinucci,
- Abstract要約: 我々は、d次元球面上の無限大のランダムニューラルネットワークの関数列に対する中心的および非中央的極限定理を確立する。
ネットワークの深さが増加するときのこれらの関数の振舞いは、共分散関数の固定点に大きく依存することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We establish central and non-central limit theorems for sequences of functionals of the Gaussian output of an infinitely-wide random neural network on the d-dimensional sphere . We show that the asymptotic behaviour of these functionals as the depth of the network increases depends crucially on the fixed points of the covariance function, resulting in three distinct limiting regimes: convergence to the same functional of a limiting Gaussian field, convergence to a Gaussian distribution, convergence to a distribution in the Qth Wiener chaos. Our proofs exploit tools that are now classical (Hermite expansions, Diagram Formula, Stein-Malliavin techniques), but also ideas which have never been used in similar contexts: in particular, the asymptotic behaviour is determined by the fixed-point structure of the iterative operator associated with the covariance, whose nature and stability governs the different limiting regimes.
- Abstract(参考訳): 我々は、d次元球面上の無限大のランダムニューラルネットワークのガウス出力の関数列に対する中心的および非中央的極限定理を確立する。
ネットワークの深さが増加するにつれて、これらの関数の漸近的振舞いは、共分散関数の固定点に決定的に依存することを示し、その結果、3つの異なる制限条件が生じる: 制限されたガウス場と同じ函数への収束、ガウス分布への収束、Qth Wienerカオスにおける分布への収束。
我々の証明は、現在古典的なツール(ハーマイト展開、ダイアグラム・フォーミュラ、シュタイン・マリアヴィンの技法)を利用するが、同様の文脈では使われていないアイデアも活用する。
関連論文リスト
- Approximation Capabilities of Feedforward Neural Networks with GELU Activations [6.488575826304024]
関数とその導関数を任意の所定の順序まで同時に保持する近似誤差を導出する。
境界は、多変量、指数関数、相互関数を含む基本函数に適用される。
ネットワークサイズ,重み度,動作を無限大で報告する。
論文 参考訳(メタデータ) (2025-12-25T17:56:44Z) - Approximation properties of neural ODEs [5.828989070109041]
連続関数空間における浅部ニューラルネットワークの普遍近似特性(UAP)を証明した。
特に、ニューラルネットワークODEのフローマップのリプシッツ定数と重みのノルムを制約し、ネットワークの安定性を高める。
論文 参考訳(メタデータ) (2025-03-19T21:11:28Z) - Wide Deep Neural Networks with Gaussian Weights are Very Close to
Gaussian Processes [1.0878040851638]
ネットワーク出力と対応するガウス近似との距離は、ネットワークの幅と逆向きにスケールし、中心極限定理によって提案されるネーブよりも高速な収束を示すことを示す。
また、(有限)トレーニングセットで評価されたネットワーク出力の有界リプシッツ関数である場合、ネットワークの正確な後部分布の理論的近似を求めるために境界を適用した。
論文 参考訳(メタデータ) (2023-12-18T22:29:40Z) - On the relationship between multivariate splines and infinitely-wide
neural networks [0.0]
関連する函数空間はユークリッド球面上のソボレフ空間であり、微分のノルムに明示的に有界であることを示す。
このランダムな特徴展開は、理論と実践の両方において、通常のランダムなフーリエ特徴よりも数値的に良く振る舞う。
特に1次元において、関連するレバレッジスコアを比較して、2つのランダム展開を比較し、ニューラルネットワーク拡張のためのより良いスケーリングを示す。
論文 参考訳(メタデータ) (2023-02-07T13:29:06Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳(メタデータ) (2022-10-28T17:26:27Z) - Decimation technique for open quantum systems: a case study with
driven-dissipative bosonic chains [62.997667081978825]
量子系の外部自由度への不可避結合は、散逸(非単体)ダイナミクスをもたらす。
本稿では,グリーン関数の(散逸的な)格子計算に基づいて,これらのシステムに対処する手法を提案する。
本手法のパワーを,複雑性を増大させる駆動散逸型ボゾン鎖のいくつかの例で説明する。
論文 参考訳(メタデータ) (2022-02-15T19:00:09Z) - Robust Estimation for Nonparametric Families via Generative Adversarial
Networks [92.64483100338724]
我々は,高次元ロバストな統計問題を解くためにGAN(Generative Adversarial Networks)を設計するためのフレームワークを提供する。
我々の研究は、これらをロバスト平均推定、第二モーメント推定、ロバスト線形回帰に拡張する。
技術面では、提案したGAN損失は、スムーズで一般化されたコルモゴロフ-スミルノフ距離と見なすことができる。
論文 参考訳(メタデータ) (2022-02-02T20:11:33Z) - Convex Analysis of the Mean Field Langevin Dynamics [49.66486092259375]
平均場ランゲヴィン力学の収束速度解析について述べる。
ダイナミックスに付随する$p_q$により、凸最適化において古典的な結果と平行な収束理論を開発できる。
論文 参考訳(メタデータ) (2022-01-25T17:13:56Z) - Non-asymptotic approximations of neural networks by Gaussian processes [7.56714041729893]
ランダムな重みを持つ場合、ガウス過程によって広いニューラルネットワークが近似される程度を研究する。
ネットワークの幅が無限大になるにつれて、その法則はガウス過程に収束する。
論文 参考訳(メタデータ) (2021-02-17T10:19:26Z) - Scaling limits of lattice quantum fields by wavelets [62.997667081978825]
再正規化群は格子体代数間の拡大写像の帰納的体系と見なされる。
自由格子基底状態の帰納的極限が存在し、極限状態はよく知られた巨大連続体自由場にまで拡張されることを示す。
論文 参考訳(メタデータ) (2020-10-21T16:30:06Z) - A Dynamical Central Limit Theorem for Shallow Neural Networks [48.66103132697071]
平均極限の周りのゆらぎは、トレーニングを通して平均正方形に有界であることを証明する。
平均場ダイナミクスがトレーニングデータを補間する尺度に収束すると、最終的にCLTスケーリングにおいて偏差が消えることを示す。
論文 参考訳(メタデータ) (2020-08-21T18:00:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。