論文の概要: Analytic Insights into Structure and Rank of Neural Network Hessian Maps

• arxiv url: http://arxiv.org/abs/2106.16225v1
• Date: Wed, 30 Jun 2021 17:29:58 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-01 16:14:12.621464
• Title: Analytic Insights into Structure and Rank of Neural Network Hessian Maps
• Title（参考訳）: ニューラルネットワークヘシアンマップの構造とランクに関する分析的考察
• Authors: Sidak Pal Singh, Gregor Bachmann, Thomas Hofmann
• Abstract要約: ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。 これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
• 参考スコア（独自算出の注目度）: 32.90143789616052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Hessian of a neural network captures parameter interactions through second-order derivatives of the loss. It is a fundamental object of study, closely tied to various problems in deep learning, including model design, optimization, and generalization. Most prior work has been empirical, typically focusing on low-rank approximations and heuristics that are blind to the network structure. In contrast, we develop theoretical tools to analyze the range of the Hessian map, providing us with a precise understanding of its rank deficiency as well as the structural reasons behind it. This yields exact formulas and tight upper bounds for the Hessian rank of deep linear networks, allowing for an elegant interpretation in terms of rank deficiency. Moreover, we demonstrate that our bounds remain faithful as an estimate of the numerical Hessian rank, for a larger class of models such as rectified and hyperbolic tangent networks. Further, we also investigate the implications of model architecture (e.g.~width, depth, bias) on the rank deficiency. Overall, our work provides novel insights into the source and extent of redundancy in overparameterized networks.
• Abstract（参考訳）: ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 これは、モデル設計、最適化、一般化など、ディープラーニングの様々な問題と密接に結びついている研究の基本的な対象である。 ほとんどの先行研究は経験的であり、典型的にはネットワーク構造に盲目な低位近似やヒューリスティックに焦点が当てられている。 対照的に、我々はヘッセン写像の範囲を分析するための理論的ツールを開発し、その階数不足とその背後にある構造的理由の正確な理解を提供する。 これにより、深い線形ネットワークのヘッセン階の正確な公式と厳密な上界が得られ、階数不足という観点からエレガントな解釈が可能となる。 さらに,直交ネットワークや双曲的接ネットワークのようなより大きなモデルのクラスに対して,数値ヘッシアン階数の推定として,我々の境界が忠実であることを示す。 さらに, ランク不足に対するモデルアーキテクチャ(例えば, 幅, 深さ, バイアス)の影響についても検討した。 全体として、我々の研究は過パラメータネットワークのソースと冗長性に関する新たな洞察を提供する。

関連論文リスト

• Neural Scaling Laws of Deep ReLU and Deep Operator Network: A Theoretical Study [8.183509993010983]
  深部演算子のネットワークにおけるニューラルネットワークのスケーリング法則をChenおよびChenスタイルアーキテクチャを用いて検討する。 我々は、その近似と一般化誤差を分析して、ニューラルネットワークのスケーリング法則を定量化する。 本結果は,演算子学習における神経スケーリング法則を部分的に説明し,その応用の理論的基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-01T03:06:55Z)
• Operator Learning Meets Numerical Analysis: Improving Neural Networks through Iterative Methods [2.226971382808806]
  演算子方程式の反復的手法に基づく理論的枠組みを開発する。 拡散モデルやAlphaFoldのような一般的なアーキテクチャは本質的に反復的演算子学習を採用していることを実証する。 本研究の目的は,数値解析から洞察を融合させることにより,ディープラーニングの理解を深めることである。
  論文  参考訳（メタデータ） (2023-10-02T20:25:36Z)
• Approximation Power of Deep Neural Networks: an explanatory mathematical survey [0.0]
  本調査の目的は、ディープニューラルネットワークの近似特性の説明的レビューを行うことである。 我々は、ニューラルネットワークが他の古典的線形および非線形近似法より優れている理由と理由を理解することを目的としている。
  論文  参考訳（メタデータ） (2022-07-19T18:47:44Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Functional Network: A Novel Framework for Interpretability of Deep Neural Networks [2.641939670320645]
  本稿では,深層ニューラルネットワーク,すなわち関数型ネットワークの解釈可能性に関する新しい枠組みを提案する。 本実験では, バッチ正規化とドロップアウトという正則化手法のメカニズムを明らかにした。
  論文  参考訳（メタデータ） (2022-05-24T01:17:36Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• A neural anisotropic view of underspecification in deep learning [60.119023683371736]
  ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。 深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
  論文  参考訳（メタデータ） (2021-04-29T14:31:09Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。