論文の概要: Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2205.13283v4
• Date: Mon, 14 Apr 2025 08:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 16:45:05.793357
• Title: Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークのランドスケープ解析における奥行きの埋め込み原理
• Authors: Zhiwei Bai, Tao Luo, Zhi-Qin John Xu, Yaoyu Zhang,
• Abstract要約: 我々は、NNのロスランドスケープが、より浅いNNの損失ランドスケープのすべての重要なポイントを「含んでいる」という、深く埋め込まれた原則を発見した。 NNの局所的な最小限は、より深いNNの厳密なサドルポイントまで持ち上げることができることを示す。 また, バッチ正規化は, 層状線形化を抑制することによって, より浅いNNから持ち上げられる臨界多様体を回避するのに役立つことを示した。
• 参考スコア（独自算出の注目度）: 8.044384641509977
• License:
• Abstract: Understanding the relation between deep and shallow neural networks is extremely important for the theoretical study of deep learning. In this work, we discover an embedding principle in depth that loss landscape of an NN "contains" all critical points of the loss landscapes for shallower NNs. The key tool for our discovery is the critical lifting operator proposed in this work that maps any critical point of a network to critical manifolds of any deeper network while preserving the outputs. This principle provides new insights to many widely observed behaviors of DNNs. Regarding the easy training of deep networks, we show that local minimum of an NN can be lifted to strict saddle points of a deeper NN. Regarding the acceleration effect of batch normalization, we demonstrate that batch normalization helps avoid the critical manifolds lifted from shallower NNs by suppressing layer linearization. We also prove that increasing training data shrinks the lifted critical manifolds, which can result in acceleration of training as demonstrated in experiments. Overall, our discovery of the embedding principle in depth uncovers the depth-wise hierarchical structure of deep learning loss landscape, which serves as a solid foundation for the further study about the role of depth for DNNs.
• Abstract（参考訳）: 深層ニューラルネットワークと浅部ニューラルネットワークの関係を理解することは、深層学習の理論研究において極めて重要である。 本研究では、NNの損失景観が、より浅いNNの損失景観のすべての重要な点を「含んでいる」という奥行きの埋め込み原理を発見する。 私たちの発見の鍵となるツールは、この研究で提案されたクリティカルリフト演算子で、ネットワークの臨界点を、出力を保ちながら、より深いネットワークの臨界多様体にマッピングする。 この原理は、多くの広く観察されているDNNの行動に新たな洞察を与える。 深層ネットワークの容易な訓練について,深層NNの厳密なサドルポイントまで,局所的なNNの最小限を引き上げることができることを示す。 バッチ正規化の加速効果について, バッチ正規化は, 層状線形化を抑えることにより, より浅いNNから持ち上げられる臨界多様体を回避するのに役立つことを示す。 また, トレーニングデータの増加は, 昇降臨界多様体を縮小させ, 実験で示されるように, トレーニングの加速をもたらすことを証明した。 総合的に、奥行きの埋め込み原理の発見は、深度学習損失ランドスケープの深度知的な階層構造を明らかにし、DNNにおける深度の役割に関するさらなる研究の基盤となる。

関連論文リスト

• Error Bound Analysis for the Regularized Loss of Deep Linear Neural Networks [4.6485895241404585]
  深部線形ネットワークの正則化二乗損失の局所的幾何学的景観を特徴付ける。 エラーホールドの下の十分かつ必要な条件を特定します。 本研究では,線形ネットワークの正規化損失に対して勾配が線形収束を示すことを示す数値実験を行った。
  論文  参考訳（メタデータ） (2025-02-16T14:53:52Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Exact Solutions of a Deep Linear Network [2.2344764434954256]
  この研究は、重み減衰とニューロンを持つディープ線形ネットワークの大域的ミニマを解析的に表現することを発見した。 重み減衰はモデルアーキテクチャと強く相互作用し、1ドル以上の隠蔽層を持つネットワークにおいてゼロで悪いミニマを生成できることを示す。
  論文  参考訳（メタデータ） (2022-02-10T00:13:34Z)
• Embedding Principle: a hierarchical structure of loss landscape of deep neural networks [3.0871079010101963]
  我々は、ディープニューラルネットワーク(NN)のロスランドスケープの一般的な埋め込み原理を証明する。 より狭いNNの臨界点から埋め込まれた臨界部分多様体の次元を総合的に推定する。
  論文  参考訳（メタデータ） (2021-11-30T16:15:50Z)
• Embedding Principle of Loss Landscape of Deep Neural Networks [1.1958610985612828]
  ディープニューラルネットワーク(DNN)のロスランドスケープが,すべてのDNNの重要な原則を“含んでいる”ことを示す。 広いDNNは、狭いDNNから埋め込まれた高度に退化した臨界点に埋め込まれていることが多い。
  論文  参考訳（メタデータ） (2021-05-30T15:32:32Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。