論文の概要: A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks

• arxiv url: http://arxiv.org/abs/2001.11443v2
• Date: Tue, 4 May 2021 17:44:02 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 12:13:21.718352
• Title: A Rigorous Framework for the Mean Field Limit of Multilayer Neural Networks
• Title（参考訳）: 多層ニューラルネットワークの平均場限界に対する厳密な枠組み
• Authors: Phan-Minh Nguyen, Huy Tuan Pham
• Abstract要約: ニューラルネットワークを平均場に埋め込むための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌道は制限によってうまく捉えられることが示される。 我々は、大幅多層ネットワークのいくつかの特性を証明した。
• 参考スコア（独自算出の注目度）: 9.89901717499058
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We develop a mathematically rigorous framework for multilayer neural networks in the mean field regime. As the network's widths increase, the network's learning trajectory is shown to be well captured by a meaningful and dynamically nonlinear limit (the \textit{mean field} limit), which is characterized by a system of ODEs. Our framework applies to a broad range of network architectures, learning dynamics and network initializations. Central to the framework is the new idea of a \textit{neuronal embedding}, which comprises of a non-evolving probability space that allows to embed neural networks of arbitrary widths. Using our framework, we prove several properties of large-width multilayer neural networks. Firstly we show that independent and identically distributed initializations cause strong degeneracy effects on the network's learning trajectory when the network's depth is at least four. Secondly we obtain several global convergence guarantees for feedforward multilayer networks under a number of different setups. These include two-layer and three-layer networks with independent and identically distributed initializations, and multilayer networks of arbitrary depths with a special type of correlated initializations that is motivated by the new concept of \textit{bidirectional diversity}. Unlike previous works that rely on convexity, our results admit non-convex losses and hinge on a certain universal approximation property, which is a distinctive feature of infinite-width neural networks and is shown to hold throughout the training process. Aside from being the first known results for global convergence of multilayer networks in the mean field regime, they demonstrate flexibility of our framework and incorporate several new ideas and insights that depart from the conventional convex optimization wisdom.
• Abstract（参考訳）: 平均場状態における多層ニューラルネットワークのための数学的に厳密なフレームワークを開発する。 ネットワークの幅が大きくなるにつれて、ネットワークの学習軌跡は意味的かつ動的に非線形な極限( \textit{mean field} limit)によってよく捉えられ、ODEのシステムによって特徴づけられる。 我々のフレームワークは、幅広いネットワークアーキテクチャ、動的学習、ネットワーク初期化に適用されます。 フレームワークの中心は、任意の幅のニューラルネットワークを埋め込むことができる進化しない確率空間からなる、 \textit{neuronal embedded} という新しいアイデアである。 本手法を用いて,大規模多層ニューラルネットワークの諸特性を検証した。 まず,ネットワークの深さが少なくとも4である場合,ネットワークの学習経路において,独立かつ同一の分散初期化が強い縮退効果をもたらすことを示す。 次に,複数の異なる環境下でのフィードフォワード多層ネットワークのグローバル収束保証を得る。 これらには、独立かつ同一に分散した初期化を持つ2層および3層ネットワークと、新しい概念である \textit{bidirectional diversity} によって動機付けられる特別なタイプの相関初期化を持つ任意の深さの多層ネットワークが含まれる。 凸性に依存した従来の研究とは異なり、我々の結果は、無限幅ニューラルネットワークの特徴的な特徴である、ある普遍近似特性に対する非凸損失とヒンジを認め、トレーニングプロセスを通して保持することが示されている。 平均場における多層ネットワークのグローバル収束に関する最初の既知の結果であるだけでなく、フレームワークの柔軟性を実証し、従来の凸最適化の知恵から外れたいくつかの新しいアイデアと洞察を取り入れている。

関連論文リスト

• Local Kernel Renormalization as a mechanism for feature learning in overparametrized Convolutional Neural Networks [0.0]
  実験的な証拠は、無限幅限界における完全連結ニューラルネットワークが最終的に有限幅限界よりも優れていることを示している。 畳み込み層を持つ最先端アーキテクチャは、有限幅構造において最適な性能を達成する。 有限幅FCネットワークの一般化性能は,ガウス事前選択に適した無限幅ネットワークで得られることを示す。
  論文  参考訳（メタデータ） (2023-07-21T17:22:04Z)
• Feature-Learning Networks Are Consistent Across Widths At Realistic Scales [72.27228085606147]
  様々なアーキテクチャやデータセットにわたる特徴学習ニューラルネットワークのダイナミクスに対する幅の影響について検討する。 トレーニングの初期、オンラインデータでトレーニングされた広範なニューラルネットワークは、損失曲線が同じであるだけでなく、トレーニング全体を通じてポイントワイドなテスト予測に一致している。 しかし、より狭いネットワークのアンサンブルは、単一のワイドネットワークよりも性能が劣っている。
  論文  参考訳（メタデータ） (2023-05-28T17:09:32Z)
• Provable Guarantees for Nonlinear Feature Learning in Three-Layer Neural Networks [49.808194368781095]
  3層ニューラルネットワークは,2層ネットワークよりも特徴学習能力が豊富であることを示す。 この研究は、特徴学習体制における2層ネットワーク上の3層ニューラルネットワークの証明可能なメリットを理解するための前進である。
  論文  参考訳（メタデータ） (2023-05-11T17:19:30Z)
• Global Convergence of Three-layer Neural Networks in the Mean Field Regime [3.553493344868413]
  平均場系では、ニューラルネットワークは適切にスケールされ、幅は無限大になる傾向にあり、学習ダイナミクスは平均場限として知られる非線形かつ非自明な動的限界に傾向がある。 最近の研究は、この分析を2層ネットワークに適用し、グローバル収束保証を提供した。 平均場における非正規化フィードフォワード三層ネットワークに対する大域収束結果を示す。
  論文  参考訳（メタデータ） (2021-05-11T17:45:42Z)
• Firefly Neural Architecture Descent: a General Approach for Growing Neural Networks [50.684661759340145]
  firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。 ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。 特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
  論文  参考訳（メタデータ） (2021-02-17T04:47:18Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• A Note on the Global Convergence of Multilayer Neural Networks in the Mean Field Regime [9.89901717499058]
  多層ニューラルネットワークの勾配に基づく学習力学の平均場限界を記述するための厳密なフレームワークを提案する。 我々は,任意の深さの多層ネットワークに対して,グローバル収束保証を証明した。
  論文  参考訳（メタデータ） (2020-06-16T17:50:34Z)
• Dynamic Hierarchical Mimicking Towards Consistent Optimization Objectives [73.15276998621582]
  一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。 DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。 カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
  論文  参考訳（メタデータ） (2020-03-24T09:56:13Z)
• Quasi-Equivalence of Width and Depth of Neural Networks [10.365556153676538]
  人工ニューラルネットワークの設計が指向性を持つかどうかを検討する。 De Morgan法に触発されて、ReLUネットワークの幅と深さの間に準等価性を確立する。 以上の結果から,深層ネットワークは任意に小さな誤差を被る広い等価性を有することがわかった。
  論文  参考訳（メタデータ） (2020-02-06T21:17:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。