論文の概要: A Riemannian Mean Field Formulation for Two-layer Neural Networks with
Batch Normalization
- arxiv url: http://arxiv.org/abs/2110.08725v1
- Date: Sun, 17 Oct 2021 05:00:43 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-19 17:11:15.798071
- Title: A Riemannian Mean Field Formulation for Two-layer Neural Networks with
Batch Normalization
- Title（参考訳）: バッチ正規化をもつ2層ニューラルネットワークのリーマン平均場定式化
- Authors: Chao Ma and Lexing Ying
- Abstract要約: バッチ正規化(BN)を伴う2層ニューラルネットワークのトレーニングダイナミクスについて検討した。
BNを持つ二層ニューラルネットワークの無限幅限界を考える。
平均場定式化の訓練力学は多様体上のワッサーシュタイン勾配流であることが示されている。
- 参考スコア（独自算出の注目度）: 8.193914488276468
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The training dynamics of two-layer neural networks with batch normalization
(BN) is studied. It is written as the training dynamics of a neural network
without BN on a Riemannian manifold. Therefore, we identify BN's effect of
changing the metric in the parameter space. Later, the infinite-width limit of
the two-layer neural networks with BN is considered, and a mean-field
formulation is derived for the training dynamics. The training dynamics of the
mean-field formulation is shown to be the Wasserstein gradient flow on the
manifold. Theoretical analysis are provided on the well-posedness and
convergence of the Wasserstein gradient flow.
- Abstract（参考訳）: バッチ正規化(BN)を伴う2層ニューラルネットワークのトレーニングダイナミクスについて検討した。
これはリーマン多様体上のBNを持たないニューラルネットワークのトレーニング力学として記述される。
したがって、パラメータ空間における計量を変更するBNの効果を同定する。
その後、BNを持つ二層ニューラルネットワークの無限幅限界を考慮し、トレーニング力学に平均場定式化を導出する。
平均場定式化の訓練力学は多様体上のワッサーシュタイン勾配流であることが示されている。
理論的解析は、ワッサーシュタイン勾配流の適切さと収束性に基づいて行われる。
関連論文リスト
- Implicit regularization of deep residual networks towards neural ODEs [8.075122862553359]
我々は、ニューラルネットワークに対する深い残留ネットワークの暗黙的な正規化を確立する。
ネットワークがニューラルなODEの離散化であるなら、そのような離散化はトレーニングを通して維持される。
論文 参考訳（メタデータ） (2023-09-03T16:35:59Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳（メタデータ） (2023-02-01T03:18:07Z) - A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer
Neural Networks [49.870593940818715]
本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。
我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
論文 参考訳（メタデータ） (2022-10-28T17:26:27Z) - Mean-Field Analysis of Two-Layer Neural Networks: Global Optimality with
Linear Convergence Rates [7.094295642076582]
平均場体制はNTK(lazy training)体制の理論的に魅力的な代替手段である。
平均場状態における連続ノイズ降下により訓練された2層ニューラルネットワークに対する線形収束結果を確立した。
論文 参考訳（メタデータ） (2022-05-19T21:05:40Z) - A Convergence Analysis of Nesterov's Accelerated Gradient Method in
Training Deep Linear Neural Networks [21.994004684742812]
モメンタム法は高速軌道のトレーニングネットワークで広く用いられている。
ランダム数と$kappaOの収束は、大域的な最小値に収束できることを示す。
我々は解析を深い線形ResNetに拡張し、同様の結果を導出する。
論文 参考訳（メタデータ） (2022-04-18T13:24:12Z) - Mean-field Analysis of Piecewise Linear Solutions for Wide ReLU Networks [83.58049517083138]
勾配勾配勾配を用いた2層ReLUネットワークについて検討する。
SGDは単純な解に偏りがあることが示される。
また,データポイントと異なる場所で結び目が発生するという経験的証拠も提供する。
論文 参考訳（メタデータ） (2021-11-03T15:14:20Z) - The edge of chaos: quantum field theory and deep neural networks [0.0]
我々は、ディープニューラルネットワークの一般クラスに対応する量子場理論を明示的に構築する。
我々は、深さ$T$と幅$N$との比の摂動展開において、相関関数に対するループ補正を計算する。
我々の分析は、急速に出現するNN-QFT対応に対する第一原理のアプローチを提供し、ディープニューラルネットワークの臨界性の研究にいくつかの興味深い道を開く。
論文 参考訳（メタデータ） (2021-09-27T18:00:00Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳（メタデータ） (2020-07-03T01:37:16Z) - An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。
この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文 参考訳（メタデータ） (2020-06-19T22:05:19Z) - A Generalized Neural Tangent Kernel Analysis for Two-layer Neural
Networks [87.23360438947114]
重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。
これは、トレーニング損失が一定の精度まで線形に収束することを意味する。
また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
論文 参考訳（メタデータ） (2020-02-10T18:56:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。