論文の概要: A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization

• arxiv url: http://arxiv.org/abs/2012.03801v2
• Date: Tue, 8 Dec 2020 03:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-18 12:53:41.564048
• Title: A Deeper Look at the Hessian Eigenspectrum of Deep Neural Networks and its Applications to Regularization
• Title（参考訳）: 深部ニューラルネットワークのヘッセン固有スペクトルのより深い考察と正規化への応用
• Authors: Adepu Ravi Sankar, Yash Khasbage, Rahul Vigneswaran, Vineeth N Balasubramanian
• Abstract要約: 各層におけるヘッシアンの固有スペクトルを研究することにより、層状損失のランドスケープを研究する。 特に, 層状ヘッセン幾何学はヘッセン幾何学の全体とほとんど類似していることが示された。 層状ヘッシアンの痕跡に基づく新しい正則化器を提案する。
• 参考スコア（独自算出の注目度）: 16.98526336526696
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Loss landscape analysis is extremely useful for a deeper understanding of the generalization ability of deep neural network models. In this work, we propose a layerwise loss landscape analysis where the loss surface at every layer is studied independently and also on how each correlates to the overall loss surface. We study the layerwise loss landscape by studying the eigenspectra of the Hessian at each layer. In particular, our results show that the layerwise Hessian geometry is largely similar to the entire Hessian. We also report an interesting phenomenon where the Hessian eigenspectrum of middle layers of the deep neural network are observed to most similar to the overall Hessian eigenspectrum. We also show that the maximum eigenvalue and the trace of the Hessian (both full network and layerwise) reduce as training of the network progresses. We leverage on these observations to propose a new regularizer based on the trace of the layerwise Hessian. Penalizing the trace of the Hessian at every layer indirectly forces Stochastic Gradient Descent to converge to flatter minima, which are shown to have better generalization performance. In particular, we show that such a layerwise regularizer can be leveraged to penalize the middlemost layers alone, which yields promising results. Our empirical studies on well-known deep nets across datasets support the claims of this work
• Abstract（参考訳）: 損失ランドスケープ解析は、ディープニューラルネットワークモデルの一般化能力を理解する上で非常に有用である。 本研究では,各層における損失面を独立に研究し,各層の損失面と損失面との相関関係について考察する。 我々は,各層におけるヘッセンの固有スペクトルを研究することにより,層状損失の景観を考察する。 特に, 層状ヘッセン幾何学はヘッセン幾何学の全体とほとんど類似していることが示された。 また,深部ニューラルネットワークの中間層におけるヘッセン固有スペクトルが,ヘッセン固有スペクトル全体と最もよく似ているという興味深い現象を報告する。 また,ネットワークのトレーニングが進むにつれて,最大固有値とヘッシアン(全ネットワークと層)のトレースが減少することを示した。 我々はこれらの観測を活用し,層状ヘッシアンの痕跡に基づく新しい正規化器を提案する。 各層でヘッセンの痕跡をペナライズすることで、確率的勾配降下がフラットな最小値に収束し、より一般化性能が向上することが示されている。 特に, 層状正則化器を用いて中層のみをペナルティ化することで, 有望な結果が得られることを示す。 データセット間のよく知られたディープネットに関する実証的研究は、この研究の主張を支持している

関連論文リスト

• On Generalization Bounds for Neural Networks with Low Rank Layers [4.2954245208408866]
  深いネットワークにおける低ランク層がどのように階数や次元因子の蓄積を防げるかを解析するために、モーラーの鎖則をガウス複雑性に適用する。 この結果と,低ランク層を有するディープネットワークがフルランク層を有するディープネットワークよりも優れた一般化を実現できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T22:20:47Z)
• Neural Collapse in the Intermediate Hidden Layers of Classification Neural Networks [0.0]
  (NC)は、分類ニューラルネットワークの最終的な隠蔽層におけるクラスの表現を正確に記述する。 本稿では,中間層におけるNCの出現を包括的に解析する。
  論文  参考訳（メタデータ） (2023-08-05T01:19:38Z)
• Neural Collapse with Normalized Features: A Geometric Analysis over the Riemannian Manifold [30.3185037354742]
  分類タスクのための正規化されたディープネットワーク上でのトレーニングでは、学習された特徴はいわゆる「神経崩壊」現象を示す。 特徴正規化により、より良い表現をより早く学習できることが示される。
  論文  参考訳（メタデータ） (2022-09-19T17:26:32Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Optimization-Based Separations for Neural Networks [57.875347246373956]
  本研究では,2層のシグモダルアクティベーションを持つディープ2ニューラルネットワークを用いて,ボールインジケータ関数を効率よく学習できることを示す。 これは最適化に基づく最初の分離結果であり、より強力なアーキテクチャの近似の利点は、実際に確実に現れる。
  論文  参考訳（メタデータ） (2021-12-04T18:07:47Z)
• Analytic Insights into Structure and Rank of Neural Network Hessian Maps [32.90143789616052]
  ニューラルネットワークのヘシアンは、損失の2階微分を通じてパラメータ相互作用をキャプチャする。 我々は、ヘッセン写像の範囲を分析する理論的ツールを開発し、その階数不足の正確な理解を提供する。 これにより、ディープ線形ネットワークのヘッセン階数に対する正確な公式と厳密な上界が得られる。
  論文  参考訳（メタデータ） (2021-06-30T17:29:58Z)
• Topological obstructions in neural networks learning [67.8848058842671]
  損失勾配関数フローのグローバル特性について検討する。 損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
  論文  参考訳（メタデータ） (2020-12-31T18:53:25Z)
• Why Layer-Wise Learning is Hard to Scale-up and a Possible Solution via Accelerated Downsampling [19.025707054206457]
  レイヤワイズ学習は、様々なデータセットのイメージ分類において最先端のパフォーマンスを達成することができる。 レイヤーワイズ学習のこれまでの研究は、単純な階層構造を持つネットワークに限られていた。 本稿では,浅層層における特徴空間の分離性が比較的低いため,階層学習のスケールアップを阻害する根本的な理由を明らかにする。
  論文  参考訳（メタデータ） (2020-10-15T21:51:43Z)
• Towards Deeper Graph Neural Networks [63.46470695525957]
  グラフ畳み込みは近傍の集約を行い、最も重要なグラフ操作の1つである。 いくつかの最近の研究で、この性能劣化は過度に滑らかな問題に起因している。 本研究では,大きな受容領域からの情報を適応的に組み込むディープ適応グラフニューラルネットワーク(DAGNN)を提案する。
  論文  参考訳（メタデータ） (2020-07-18T01:11:14Z)
• Layer-wise Conditioning Analysis in Exploring the Learning Dynamics of DNNs [115.35745188028169]
  条件付け解析を深層ニューラルネットワーク(DNN)に拡張し,その学習力学を解明する。 バッチ正規化(BN)はトレーニングを安定させるが、時には局所的な最小値の誤った印象を与える。 我々はBNが最適化問題の階層的条件付けを改善することを実験的に観察した。
  論文  参考訳（メタデータ） (2020-02-25T11:40:27Z)
• Revealing the Structure of Deep Neural Networks via Convex Duality [70.15611146583068]
  我々は,正規化深層ニューラルネットワーク(DNN)について検討し,隠蔽層の構造を特徴付ける凸解析フレームワークを導入する。 正規正規化学習問題に対する最適隠蔽層重みの集合が凸集合の極点として明確に見出されることを示す。 ホワイトデータを持つ深部ReLUネットワークに同じ特徴を応用し、同じ重み付けが成り立つことを示す。
  論文  参考訳（メタデータ） (2020-02-22T21:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。