論文の概要: Structure and Gradient Dynamics Near Global Minima of Two-layer Neural
Networks
- arxiv url: http://arxiv.org/abs/2309.00508v1
- Date: Fri, 1 Sep 2023 14:53:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 13:10:26.410506
- Title: Structure and Gradient Dynamics Near Global Minima of Two-layer Neural
Networks
- Title(参考訳): 2層ニューラルネットワークの大域最小値近傍の構造と勾配ダイナミクス
- Authors: Leyang Zhang, Yaoyu Zhang, Tao Luo
- Abstract要約: グローバルミニマ付近の2層ニューラルネットワークの損失景観構造について検討する。
完全な一般化を与えるパラメータの集合を決定し、その周りの勾配流を完全に特徴づける。
- 参考スコア(独自算出の注目度): 4.965795525460378
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Under mild assumptions, we investigate the structure of loss landscape of
two-layer neural networks near global minima, determine the set of parameters
which give perfect generalization, and fully characterize the gradient flows
around it. With novel techniques, our work uncovers some simple aspects of the
complicated loss landscape and reveals how model, target function, samples and
initialization affect the training dynamics differently. Based on these
results, we also explain why (overparametrized) neural networks could
generalize well.
- Abstract(参考訳): 軽微な仮定の下で、大域的ミニマ付近の2層ニューラルネットワークの損失景観の構造を調査し、完全な一般化を与えるパラメータの集合を決定し、その周りの勾配の流れを完全に特徴づける。
新たな手法により、複雑な損失景観の単純な側面を明らかにし、モデル、ターゲット関数、サンプル、初期化がトレーニングのダイナミクスにどう影響するかを明らかにする。
これらの結果に基づき、(過パラメータ化)ニューラルネットワークがうまく一般化できる理由を説明した。
関連論文リスト
- Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。
本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文 参考訳(メタデータ) (2023-03-05T17:57:33Z) - The Multiscale Structure of Neural Network Loss Functions: The Effect on
Optimization and Origin [12.092361450994318]
本稿では,ニューラルネットワークの損失関数の構造とその2次近似の範囲を超えた領域における最適化への影響について検討する。
異なる大きさのトレーニングデータによって損失関数のスケールが異なることが示され、サブクワッドラティックな成長や複数の個別のスケールが生成される。
論文 参考訳(メタデータ) (2022-04-24T17:34:12Z) - FuNNscope: Visual microscope for interactively exploring the loss
landscape of fully connected neural networks [77.34726150561087]
ニューラルネットワークの高次元景観特性を探索する方法を示す。
我々は、小さなニューラルネットワークの観測結果をより複雑なシステムに一般化する。
インタラクティブダッシュボードは、いくつかのアプリケーションネットワークを開放する。
論文 参考訳(メタデータ) (2022-04-09T16:41:53Z) - Exact Solutions of a Deep Linear Network [2.2344764434954256]
この研究は、重み減衰とニューロンを持つディープ線形ネットワークの大域的ミニマを解析的に表現することを発見した。
重み減衰はモデルアーキテクチャと強く相互作用し、1ドル以上の隠蔽層を持つネットワークにおいてゼロで悪いミニマを生成できることを示す。
論文 参考訳(メタデータ) (2022-02-10T00:13:34Z) - Training Integrable Parameterizations of Deep Neural Networks in the
Infinite-Width Limit [0.0]
大きな幅のダイナミクスは実世界のディープネットワークに関する実践的な洞察を導いてきた。
2層ニューラルネットワークでは、トレーニングされたモデルの性質が初期ランダムウェイトの大きさによって根本的に変化することが理解されている。
この自明な振る舞いを避けるための様々な手法を提案し、その結果のダイナミクスを詳細に分析する。
論文 参考訳(メタデータ) (2021-10-29T07:53:35Z) - An Unconstrained Layer-Peeled Perspective on Neural Collapse [20.75423143311858]
非拘束層列モデル (ULPM) と呼ばれるサロゲートモデルを導入する。
このモデル上の勾配流は、その大域的最小化器における神経崩壊を示す最小ノルム分離問題の臨界点に収束することを示す。
また,本研究の結果は,実世界のタスクにおけるニューラルネットワークのトレーニングにおいて,明示的な正規化や重み劣化が使用されない場合にも有効であることを示す。
論文 参考訳(メタデータ) (2021-10-06T14:18:47Z) - Taxonomizing local versus global structure in neural network loss
landscapes [60.206524503782006]
ロスランドスケープが世界規模で良好に接続されている場合, 最適なテスト精度が得られることを示す。
また、モデルが小さい場合や、品質の低いデータに訓練された場合、世界規模で接続の不十分なランドスケープが生じる可能性があることも示しています。
論文 参考訳(メタデータ) (2021-07-23T13:37:14Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳(メタデータ) (2020-12-31T18:53:25Z) - Modeling from Features: a Mean-field Framework for Over-parameterized
Deep Neural Networks [54.27962244835622]
本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。
このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。
本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
論文 参考訳(メタデータ) (2020-07-03T01:37:16Z) - The Hidden Convex Optimization Landscape of Two-Layer ReLU Neural
Networks: an Exact Characterization of the Optimal Solutions [51.60996023961886]
コーン制約のある凸最適化プログラムを解くことにより,グローバルな2層ReLUニューラルネットワークの探索が可能であることを示す。
我々の分析は新しく、全ての最適解を特徴づけ、最近、ニューラルネットワークのトレーニングを凸空間に持ち上げるために使われた双対性に基づく分析を活用できない。
論文 参考訳(メタデータ) (2020-06-10T15:38:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。