論文の概要: Embedding Principle: a hierarchical structure of loss landscape of deep neural networks

• arxiv url: http://arxiv.org/abs/2111.15527v1
• Date: Tue, 30 Nov 2021 16:15:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-01 15:16:07.736951
• Title: Embedding Principle: a hierarchical structure of loss landscape of deep neural networks
• Title（参考訳）: 埋め込み原理:ディープニューラルネットワークの損失景観の階層構造
• Authors: Yaoyu Zhang, Yuqing Li, Zhongwang Zhang, Tao Luo, Zhi-Qin John Xu
• Abstract要約: 我々は、ディープニューラルネットワーク(NN)のロスランドスケープの一般的な埋め込み原理を証明する。 より狭いNNの臨界点から埋め込まれた臨界部分多様体の次元を総合的に推定する。
• 参考スコア（独自算出の注目度）: 3.0871079010101963
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We prove a general Embedding Principle of loss landscape of deep neural networks (NNs) that unravels a hierarchical structure of the loss landscape of NNs, i.e., loss landscape of an NN contains all critical points of all the narrower NNs. This result is obtained by constructing a class of critical embeddings which map any critical point of a narrower NN to a critical point of the target NN with the same output function. By discovering a wide class of general compatible critical embeddings, we provide a gross estimate of the dimension of critical submanifolds embedded from critical points of narrower NNs. We further prove an irreversiblility property of any critical embedding that the number of negative/zero/positive eigenvalues of the Hessian matrix of a critical point may increase but never decrease as an NN becomes wider through the embedding. Using a special realization of general compatible critical embedding, we prove a stringent necessary condition for being a "truly-bad" critical point that never becomes a strict-saddle point through any critical embedding. This result implies the commonplace of strict-saddle points in wide NNs, which may be an important reason underlying the easy optimization of wide NNs widely observed in practice.
• Abstract（参考訳）: 我々は,ニューラルネットワークの損失景観の階層構造を解き明かすディープニューラルネットワーク(nns)の損失景観の一般埋め込み原理を証明し,nnの損失景観はより狭いnnの全ての臨界点を含むことを示した。 この結果は、より狭いnnの臨界点を同じ出力関数を持つターゲットnnの臨界点にマッピングする臨界埋め込みのクラスを構成することによって得られる。 一般互換臨界埋め込みの広いクラスを発見することにより、より狭いnnの臨界点から埋め込まれた臨界部分多様体の次元を総括的に推定する。 さらに、臨界点のヘッセン行列の負/零/正の固有値の数が増加するが、nn が埋め込みを通じて大きくなると決して減少しないような臨界埋め込みの非可逆性性も証明する。 一般互換臨界埋め込み(general compatible critical embedded)の特別な実現により、いかなる臨界埋め込みでも厳密なサドル点にならない「真に悪い」臨界点となるための厳密な必要条件が証明される。 この結果から,広帯域NNにおける厳密なサドル点の共通位置が示唆され,実際に広く見られる広帯域NNの容易な最適化の根底にある重要な理由と考えられる。

関連論文リスト

• Neural Network Verification with Branch-and-Bound for General Nonlinearities [63.39918329535165]
  ブランチ・アンド・バウンド(BaB)は、ニューラルネットワーク(NN)検証において最も効果的な手法の一つである。 我々は、一般的な非線形性にBaBを実行し、一般的なアーキテクチャでNNを検証する汎用フレームワークGenBaBを開発した。 我々のフレームワークは、一般的な非線形グラフの検証を可能にし、単純なNNを超えた検証アプリケーションを可能にする。
  論文  参考訳（メタデータ） (2024-05-31T17:51:07Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks [3.5208869573271446]
  我々は、NNの損失ランドスケープが、より浅いNNの損失ランドスケープのすべての重要なポイントを「含んでいる」という、深く埋め込まれた原則を証明した。 我々は、層状線形化を抑えることにより、バッチ正規化が持ち上げ臨界多様体を避けるのに役立つことを実証的に実証した。
  論文  参考訳（メタデータ） (2022-05-26T11:42:44Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Deep Stable neural networks: large-width asymptotics and convergence rates [3.0108936184913295]
  NNの層上に幅が無限大になるにつれて、適切な再スケールされたディープ・スタブル・NNは安定SPに弱収束することを示す。 非三角形NNの構造のため、これは非標準問題であり、新しい自己完結型帰納的アプローチを提案する。
  論文  参考訳（メタデータ） (2021-08-02T12:18:00Z)
• The loss landscape of deep linear neural networks: a second-order analysis [9.85879905918703]
  正方形損失を伴う深部線形ニューラルネットワークの最適化環境について検討する。 我々は、すべての臨界点の中で、大域最小化点、厳格なサドル点、非制限サドル点を特徴づける。
  論文  参考訳（メタデータ） (2021-07-28T11:33:18Z)
• Embedding Principle of Loss Landscape of Deep Neural Networks [1.1958610985612828]
  ディープニューラルネットワーク(DNN)のロスランドスケープが,すべてのDNNの重要な原則を“含んでいる”ことを示す。 広いDNNは、狭いDNNから埋め込まれた高度に退化した臨界点に埋め込まれていることが多い。
  論文  参考訳（メタデータ） (2021-05-30T15:32:32Z)
• Finite Versus Infinite Neural Networks: an Empirical Study [69.07049353209463]
  カーネルメソッドは、完全に接続された有限幅ネットワークより優れている。 中心とアンサンブルの有限ネットワークは後続のばらつきを減らした。 重みの減衰と大きな学習率の使用は、有限ネットワークと無限ネットワークの対応を破る。
  論文  参考訳（メタデータ） (2020-07-31T01:57:47Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。