論文の概要: Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks

• arxiv url: http://arxiv.org/abs/2205.13283v4
• Date: Mon, 14 Apr 2025 08:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-26 11:17:24.462958
• Title: Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
• Title（参考訳）: 深層ニューラルネットワークのランドスケープ解析における奥行きの埋め込み原理
• Authors: Zhiwei Bai, Tao Luo, Zhi-Qin John Xu, Yaoyu Zhang,
• Abstract要約: 我々は、NNのロスランドスケープが、より浅いNNの損失ランドスケープのすべての重要なポイントを「含んでいる」という、深く埋め込まれた原則を発見した。 NNの局所的な最小限は、より深いNNの厳密なサドルポイントまで持ち上げることができることを示す。 また, バッチ正規化は, 層状線形化を抑制することによって, より浅いNNから持ち上げられる臨界多様体を回避するのに役立つことを示した。
• 参考スコア（独自算出の注目度）: 8.044384641509977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding the relation between deep and shallow neural networks is extremely important for the theoretical study of deep learning. In this work, we discover an embedding principle in depth that loss landscape of an NN "contains" all critical points of the loss landscapes for shallower NNs. The key tool for our discovery is the critical lifting operator proposed in this work that maps any critical point of a network to critical manifolds of any deeper network while preserving the outputs. This principle provides new insights to many widely observed behaviors of DNNs. Regarding the easy training of deep networks, we show that local minimum of an NN can be lifted to strict saddle points of a deeper NN. Regarding the acceleration effect of batch normalization, we demonstrate that batch normalization helps avoid the critical manifolds lifted from shallower NNs by suppressing layer linearization. We also prove that increasing training data shrinks the lifted critical manifolds, which can result in acceleration of training as demonstrated in experiments. Overall, our discovery of the embedding principle in depth uncovers the depth-wise hierarchical structure of deep learning loss landscape, which serves as a solid foundation for the further study about the role of depth for DNNs.
• Abstract（参考訳）: 深層ニューラルネットワークと浅部ニューラルネットワークの関係を理解することは、深層学習の理論研究において極めて重要である。 本研究では、NNの損失景観が、より浅いNNの損失景観のすべての重要な点を「含んでいる」という奥行きの埋め込み原理を発見する。 私たちの発見の鍵となるツールは、この研究で提案されたクリティカルリフト演算子で、ネットワークの臨界点を、出力を保ちながら、より深いネットワークの臨界多様体にマッピングする。 この原理は、多くの広く観察されているDNNの行動に新たな洞察を与える。 深層ネットワークの容易な訓練について,深層NNの厳密なサドルポイントまで,局所的なNNの最小限を引き上げることができることを示す。 バッチ正規化の加速効果について, バッチ正規化は, 層状線形化を抑えることにより, より浅いNNから持ち上げられる臨界多様体を回避するのに役立つことを示す。 また, トレーニングデータの増加は, 昇降臨界多様体を縮小させ, 実験で示されるように, トレーニングの加速をもたらすことを証明した。 総合的に、奥行きの埋め込み原理の発見は、深度学習損失ランドスケープの深度知的な階層構造を明らかにし、DNNにおける深度の役割に関するさらなる研究の基盤となる。

関連論文リスト

• The Computational Advantage of Depth: Learning High-Dimensional Hierarchical Functions with Gradient Descent [28.999394988111106]
  潜在部分空間次元の階層構造を組み込んだ対象関数のクラスを導入する。 我々の主定理は、勾配降下による特徴学習が有効次元を減少させることを示している。 これらの知見は、ディープネットワークを用いた階層構造学習における深度の重要な役割について、さらに定量的に研究する道を開く。
  論文  参考訳（メタデータ） (2025-02-19T18:58:28Z)
• Component-based Sketching for Deep ReLU Nets [55.404661149594375]
  各種タスクのためのディープネットコンポーネントに基づくスケッチ手法を開発した。 我々はディープネットトレーニングを線形経験的リスク最小化問題に変換する。 提案したコンポーネントベーススケッチは飽和関数の近似においてほぼ最適であることを示す。
  論文  参考訳（メタデータ） (2024-09-21T15:30:43Z)
• NEPENTHE: Entropy-Based Pruning as a Neural Network Depth's Reducer [5.373015313199385]
  深層ニューラルネットワークの計算負担を軽減するため,nEural Network depTHのrEducerとしてeNtropy-basEdプルーニングを提案する。 我々はMobileNetやSwin-Tといった一般的なアーキテクチャに対するアプローチを検証する。
  論文  参考訳（メタデータ） (2024-04-24T09:12:04Z)
• Peeking Behind the Curtains of Residual Learning [10.915277646160707]
  The Plain Neural Net hypothesis (PNNH) は、非線形層を横断する内部経路を残留学習において最も重要な部分として認識する。 我々は,PNNH対応CNNアーキテクチャとトランスフォーマーを一般的なビジョンベンチマーク上で徹底的に評価し,トレーニングスループットが最大0.3%向上し,ResNetやビジョントランスフォーマーに比べてパラメータ効率が2倍向上したことを示す。
  論文  参考訳（メタデータ） (2024-02-13T18:24:10Z)
• Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
  神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。 単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。 これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
  論文  参考訳（メタデータ） (2023-07-20T13:34:11Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Exact Solutions of a Deep Linear Network [2.2344764434954256]
  この研究は、重み減衰とニューロンを持つディープ線形ネットワークの大域的ミニマを解析的に表現することを発見した。 重み減衰はモデルアーキテクチャと強く相互作用し、1ドル以上の隠蔽層を持つネットワークにおいてゼロで悪いミニマを生成できることを示す。
  論文  参考訳（メタデータ） (2022-02-10T00:13:34Z)
• Neural Tangent Kernel Analysis of Deep Narrow Neural Networks [11.623483126242478]
  無限に深いが狭いニューラルネットワークの最初のトレーニング可能性保証を示す。 次に、解析を無限深部畳み込みニューラルネットワーク(CNN)に拡張し、簡単な実験を行う。
  論文  参考訳（メタデータ） (2022-02-07T07:27:02Z)
• Embedding Principle: a hierarchical structure of loss landscape of deep neural networks [3.0871079010101963]
  我々は、ディープニューラルネットワーク(NN)のロスランドスケープの一般的な埋め込み原理を証明する。 より狭いNNの臨界点から埋め込まれた臨界部分多様体の次元を総合的に推定する。
  論文  参考訳（メタデータ） (2021-11-30T16:15:50Z)
• Embedding Principle of Loss Landscape of Deep Neural Networks [1.1958610985612828]
  ディープニューラルネットワーク(DNN)のロスランドスケープが,すべてのDNNの重要な原則を“含んでいる”ことを示す。 広いDNNは、狭いDNNから埋め込まれた高度に退化した臨界点に埋め込まれていることが多い。
  論文  参考訳（メタデータ） (2021-05-30T15:32:32Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Statistical Mechanics of Deep Linear Neural Networks: The Back-Propagating Renormalization Group [4.56877715768796]
  個々の単位の入力出力関数が線形である深線型ニューラルネットワーク(DLNN)における学習の統計力学について検討する。 重み空間における平衡ギブス分布を用いて教師あり学習後のネットワーク特性を正確に解く。 数値シミュレーションにより, 非線形性にもかかわらず, 理論の予測は大部分, 深さの小さいreluネットワークによって共有されていることが明らかとなった。
  論文  参考訳（メタデータ） (2020-12-07T20:08:31Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Revisiting Initialization of Neural Networks [72.24615341588846]
  ヘッセン行列のノルムを近似し, 制御することにより, 層間における重みのグローバルな曲率を厳密に推定する。 Word2Vec と MNIST/CIFAR 画像分類タスクの実験により,Hessian ノルムの追跡が診断ツールとして有用であることが確認された。
  論文  参考訳（メタデータ） (2020-04-20T18:12:56Z)
• Robust Pruning at Initialization [61.30574156442608]
  計算リソースが限られているデバイス上で、機械学習アプリケーションを使用するための、より小さく、エネルギー効率のよいニューラルネットワークの必要性が高まっている。 ディープNNにとって、このような手順はトレーニングが困難であり、例えば、ひとつの層が完全に切断されるのを防ぐことができないため、満足できないままである。
  論文  参考訳（メタデータ） (2020-02-19T17:09:50Z)
• On Random Kernels of Residual Architectures [93.94469470368988]
  ResNets と DenseNets のニューラルタンジェントカーネル (NTK) に対して有限幅および深さ補正を導出する。 その結果,ResNetsでは,深さと幅が同時に無限大となるとNTKへの収束が生じる可能性が示唆された。 しかし、DenseNetsでは、NTKの幅が無限大になる傾向があるため、その限界への収束が保証されている。
  論文  参考訳（メタデータ） (2020-01-28T16:47:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。