論文の概要: Global Convergence of Three-layer Neural Networks in the Mean Field
Regime
- arxiv url: http://arxiv.org/abs/2105.05228v1
- Date: Tue, 11 May 2021 17:45:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-12 14:01:02.069526
- Title: Global Convergence of Three-layer Neural Networks in the Mean Field
Regime
- Title（参考訳）: 平均場レジームにおける3層ニューラルネットワークのグローバル収束
- Authors: Huy Tuan Pham, Phan-Minh Nguyen
- Abstract要約: 平均場系では、ニューラルネットワークは適切にスケールされ、幅は無限大になる傾向にあり、学習ダイナミクスは平均場限として知られる非線形かつ非自明な動的限界に傾向がある。
最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。
平均場における非正規化フィードフォワード三層ネットワークに対する大域収束結果を示す。
- 参考スコア（独自算出の注目度）: 3.553493344868413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In the mean field regime, neural networks are appropriately scaled so that as
the width tends to infinity, the learning dynamics tends to a nonlinear and
nontrivial dynamical limit, known as the mean field limit. This lends a way to
study large-width neural networks via analyzing the mean field limit. Recent
works have successfully applied such analysis to two-layer networks and
provided global convergence guarantees. The extension to multilayer ones
however has been a highly challenging puzzle, and little is known about the
optimization efficiency in the mean field regime when there are more than two
layers.
In this work, we prove a global convergence result for unregularized
feedforward three-layer networks in the mean field regime. We first develop a
rigorous framework to establish the mean field limit of three-layer networks
under stochastic gradient descent training. To that end, we propose the idea of
a \textit{neuronal embedding}, which comprises of a fixed probability space
that encapsulates neural networks of arbitrary sizes. The identified mean field
limit is then used to prove a global convergence guarantee under suitable
regularity and convergence mode assumptions, which -- unlike previous works on
two-layer networks -- does not rely critically on convexity. Underlying the
result is a universal approximation property, natural of neural networks, which
importantly is shown to hold at \textit{any} finite training time (not
necessarily at convergence) via an algebraic topology argument.
- Abstract（参考訳）: 平均場状態において、ニューラルネットワークは、幅が無限大になる傾向があるため、学習力学は平均場限界として知られる非線形で非自明な動的極限に傾向する。
これにより、平均フィールド限界を分析することによって、大きな幅のニューラルネットワークを研究することができる。
最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。
しかし、多層構造への拡張は非常に難しいパズルであり、2層以上の層が存在する場合の平均場状態における最適化効率についてはほとんど分かっていない。
本研究では、平均場状態における非正規化フィードフォワード3層ネットワークに対する大域収束結果を示す。
まず,確率勾配降下学習における3層ネットワークの平均フィールド限界を確立するための厳密なフレームワークを開発する。
そこで本研究では,任意の大きさのニューラルネットワークをカプセル化する固定確率空間からなる \textit{neuronal embedded} という概念を提案する。
同定された平均場極限は、適切な正則性と収束モードの仮定の下で大域収束保証を証明するために使用される。
結果は普遍近似の性質であり、ニューラルネットワークの自然な性質であり、これは代数的トポロジーの議論を通じて(必ずしも収束しない)有限トレーニング時間で保持されることが重要である。
関連論文リスト
- Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳（メタデータ） (2023-05-25T14:17:15Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Mean-field analysis for heavy ball methods: Dropout-stability,
connectivity, and global convergence [17.63517562327928]
本稿では,2層および3層からなるニューラルネットワークに着目し,SHBの解の性質を厳密に把握する。
有限幅ネットワークにおける平均場限界とSHBダイナミクスの間には,大域的最適度への収束性を示し,定量的な境界を与える。
論文 参考訳（メタデータ） (2022-10-13T08:08:25Z) - Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with
Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。
平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文 参考訳（メタデータ） (2022-05-19T21:05:40Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳（メタデータ） (2022-05-18T16:57:10Z) - On Feature Learning in Neural Networks with Global Convergence
Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。
入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。
また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文 参考訳（メタデータ） (2022-04-22T15:56:43Z) - Limiting fluctuation and trajectorial stability of multilayer neural
networks with mean field training [3.553493344868413]
ネットワーク深度における多層ネットワークの場合の変動について検討する。
この2階のMF限界におけるニューロン間の複雑な相互作用の枠組みを実演する。
極限定理は、この極限と大幅ネットワークのゆらぎを関連付けることが証明されている。
論文 参考訳（メタデータ） (2021-10-29T17:58:09Z) - A Convergence Theory Towards Practical Over-parameterized Deep Neural
Networks [56.084798078072396]
ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。
本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。
私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
論文 参考訳（メタデータ） (2021-01-12T00:40:45Z) - Generalization bound of globally optimal non-convex neural network
training: Transportation map estimation by infinite dimensional Langevin
dynamics [50.83356836818667]
本稿では,ディープラーニングの最適化を一般化誤差と関連づけて解析する理論フレームワークを提案する。
ニューラルネットワーク最適化分析のための平均場理論やニューラル・タンジェント・カーネル理論のような既存のフレームワークは、そのグローバル収束を示すために、ネットワークの無限幅の限界を取る必要がある。
論文 参考訳（メタデータ） (2020-07-11T18:19:50Z) - A Note on the Global Convergence of Multilayer Neural Networks in the
Mean Field Regime [9.89901717499058]
多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。
我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
論文 参考訳（メタデータ） (2020-06-16T17:50:34Z) - A Rigorous Framework for the Mean Field Limit of Multilayer Neural
Networks [9.89901717499058]
ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。
ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。
我々は、大幅多層ネットワークのいくつかの特性を証明した。
論文 参考訳（メタデータ） (2020-01-30T16:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。