論文の概要: A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime

• arxiv url: http://arxiv.org/abs/2006.09355v1
• Date: Tue, 16 Jun 2020 17:50:34 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 20:46:07.102520
• Title: A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime
• Title（参考訳）: 平均場レジームにおける多層ニューラルネットワークのグローバル収束に関する一考察
• Authors: Huy Tuan Pham, Phan-Minh Nguyen
• Abstract要約: 多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。 我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
• 参考スコア（独自算出の注目度）: 9.89901717499058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In a recent work, we introduced a rigorous framework to describe the mean field limit of the gradient-based learning dynamics of multilayer neural networks, based on the idea of a neuronal embedding. There we also proved a global convergence guarantee for three-layer (as well as two-layer) networks using this framework. In this companion note, we point out that the insights in our previous work can be readily extended to prove a global convergence guarantee for multilayer networks of any depths. Unlike our previous three-layer global convergence guarantee that assumes i.i.d. initializations, our present result applies to a type of correlated initialization. This initialization allows to, at any finite training time, propagate a certain universal approximation property through the depth of the neural network. To achieve this effect, we introduce a bidirectional diversity condition.
• Abstract（参考訳）: 最近の研究で我々は、神経埋め込みの概念に基づいて、多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密な枠組みを導入した。 また,このフレームワークを用いた3層ネットワーク(および2層ネットワーク)のグローバルコンバージェンス保証も行った。 本稿では,先行研究の知見を拡張して,任意の深さの多層ネットワークに対するグローバル収束保証を証明できることを指摘する。 初期化を仮定する以前の3層グローバル収束保証とは異なり、本結果は相関初期化の一種に適用できる。 この初期化は、任意の有限の訓練時間において、ニューラルネットワークの深さを通してある普遍近似特性を伝搬することができる。 この効果を達成するために,双方向の多様性条件を導入する。

関連論文リスト

• Compositional Curvature Bounds for Deep Neural Networks [7.373617024876726]
  安全クリティカルなアプリケーションにおけるニューラルネットワークの普及を脅かす重要な課題は、敵の攻撃に対する脆弱性である。 本研究では, 連続的に微分可能な深層ニューラルネットワークの2次挙動について検討し, 対向摂動に対する堅牢性に着目した。 ニューラルネットワークの第2微分の証明可能な上界を解析的に計算する新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-07T17:50:15Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• A Functional-Space Mean-Field Theory of Partially-Trained Three-Layer Neural Networks [49.870593940818715]
  本稿では,第1層がランダムで固定された3層NNモデルの無限幅限界について検討する。 我々の理論はモデルの異なるスケーリング選択に対応しており、結果としてMF制限の2つの条件が顕著な振舞いを示す。
  論文  参考訳（メタデータ） (2022-10-28T17:26:27Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Global Convergence of Three-layer Neural Networks in the Mean Field Regime [3.553493344868413]
  平均場系では、ニューラルネットワークは適切にスケールされ、幅は無限大になる傾向にあり、学習ダイナミクスは平均場限として知られる非線形かつ非自明な動的限界に傾向がある。 最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。 平均場における非正規化フィードフォワード三層ネットワークに対する大域収束結果を示す。
  論文  参考訳（メタデータ） (2021-05-11T17:45:42Z)
• A global universality of two-layer neural networks with ReLU activations [5.51579574006659]
  関数空間における2層ニューラルネットワークの集合の密度に関するニューラルネットワークの普遍性について検討する。 我々はノルムを適切に導入することで大域収束を考えるので、その結果は任意のコンパクト集合に対して一様となる。
  論文  参考訳（メタデータ） (2020-11-20T05:39:10Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• A Mean-field Analysis of Deep ResNet and Beyond: Towards Provable Optimization Via Overparameterization From Depth [19.866928507243617]
  勾配降下(SGD)を伴う深層ニューラルネットワークのトレーニングは、現実世界の風景でのトレーニング損失をゼロにすることが多い。 我々は,アラーがグローバルであるという意味で優れたトレーニングを享受する,無限大深部残差ネットワークの新たな限界を提案する。
  論文  参考訳（メタデータ） (2020-03-11T20:14:47Z)
• A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks [9.89901717499058]
  ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
  論文  参考訳（メタデータ） (2020-01-30T16:43:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。