論文の概要: Universal characteristics of deep neural network loss surfaces from random matrix theory

• arxiv url: http://arxiv.org/abs/2205.08601v1
• Date: Tue, 17 May 2022 19:42:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-19 13:59:53.125103
• Title: Universal characteristics of deep neural network loss surfaces from random matrix theory
• Title（参考訳）: ランダム行列理論によるディープニューラルネットワーク損失面の普遍的特性
• Authors: Nicholas P Baskerville, Jonathan P Keating, Francesco Mezzadri, Joseph Najnudel, Diego Granziol
• Abstract要約: 我々は、局所統計学に関連するランダム行列の普遍的性質を用いて、ディープニューラルネットワークの実践的含意を導出する。 特に、ディープニューラルネットワークのスペクトルにおける外れ値の普遍的な側面を導出し、一般的な事前条件勾配勾配アルゴリズムにおけるランダム行列局所法則の重要な役割を実証する。
• 参考スコア（独自算出の注目度）: 0.5249805590164901
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper considers several aspects of random matrix universality in deep neural networks. Motivated by recent experimental work, we use universal properties of random matrices related to local statistics to derive practical implications for deep neural networks based on a realistic model of their Hessians. In particular we derive universal aspects of outliers in the spectra of deep neural networks and demonstrate the important role of random matrix local laws in popular pre-conditioning gradient descent algorithms. We also present insights into deep neural network loss surfaces from quite general arguments based on tools from statistical physics and random matrix theory.
• Abstract（参考訳）: 本稿では,ディープニューラルネットワークにおけるランダムマトリクスの普遍性について考察する。 近年の実験研究に動機づけられ,局所統計に関連するランダム行列の普遍的性質を用いて,ヘシアンの現実的なモデルに基づく深層ニューラルネットワークの実用的意義を導出する。 特に、ディープニューラルネットワークのスペクトルにおける外れ値の普遍的側面を導出し、一般的なプレコンディショニング勾配降下アルゴリズムにおけるランダム行列局所法則の重要な役割を実証する。 また,統計物理学とランダム行列理論のツールに基づく非常に一般的な議論から,ディープニューラルネットワーク損失曲面に対する洞察を与える。

関連論文リスト

• Implicit Regularization via Spectral Neural Networks and Non-linear Matrix Sensing [2.171120568435925]
  スペクトルニューラルネットワーク(SNN)は行列学習問題に特に適している。 SNNアーキテクチャは本質的にバニラニューラルネットよりも理論解析に適していることを示す。 我々は、SNNアーキテクチャは、幅広い種類の行列学習シナリオにおいて、幅広い適用性を持つ可能性があると信じている。
  論文  参考訳（メタデータ） (2024-02-27T15:28:01Z)
• Random matrix theory and the loss surfaces of neural networks [0.0]
  乱数行列理論を用いて、大きなニューラルネットワークの損失面を理解し、記述する。 我々は、ニューラルネットワーク損失面のヘッセンとそのスペクトルについて、強力で新しい結果を得る。 この論文は、現代のニューラルネットワークの理論研究におけるランダム行列理論の位置づけに重要な貢献をする。
  論文  参考訳（メタデータ） (2023-06-03T13:16:17Z)
• Norm-based Generalization Bounds for Compositionally Sparse Neural Networks [11.987589603961622]
  畳み込みニューラルネットワークを含む多層スパースReLUニューラルネットワークに対する一般化境界を証明した。 これらの結果から, 深いニューラルネットワークの成功には, 対象関数の組成空間が重要であることが示唆された。
  論文  参考訳（メタデータ） (2023-01-28T00:06:22Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Rank Diminishing in Deep Neural Networks [71.03777954670323]
  ニューラルネットワークのランクは、層をまたがる情報を測定する。 これは機械学習の幅広い領域にまたがる重要な構造条件の例である。 しかし、ニューラルネットワークでは、低ランク構造を生み出す固有のメカニズムはあいまいで不明瞭である。
  論文  参考訳（メタデータ） (2022-06-13T12:03:32Z)
• Statistical Guarantees for Approximate Stationary Points of Simple Neural Networks [4.254099382808598]
  我々は、対数的要因と大域的最適値に一致する単純なニューラルネットワークの統計的保証を開発する。 我々は,ニューラルネットワークの実用的性質を数学的に記述する上で一歩前進する。
  論文  参考訳（メタデータ） (2022-05-09T18:09:04Z)
• More Than a Toy: Random Matrix Models Predict How Real-World Neural Representations Generalize [94.70343385404203]
  ほとんどの理論解析は、カーネル回帰においても定性的現象を捉えるには不十分であることがわかった。 古典的GCV推定器は局所確率行列法則が成立するたびに一般化リスクに収束することを示す。 この結果から, ランダム行列理論は, 実際には神経表現の性質を理解する上で重要である可能性が示唆された。
  論文  参考訳（メタデータ） (2022-03-11T18:59:01Z)
• What can linearized neural networks actually say about generalization? [67.83999394554621]
  ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。 線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。 我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
  論文  参考訳（メタデータ） (2021-06-12T13:05:11Z)
• Formalizing Generalization and Robustness of Neural Networks to Weight Perturbations [58.731070632586594]
  非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。 また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
  論文  参考訳（メタデータ） (2021-03-03T06:17:03Z)
• Applicability of Random Matrix Theory in Deep Learning [0.966840768820136]
  本研究では,ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計について検討する。 ニューラルネットワークのモデリングにおけるランダム行列理論の適用性に新たな光を当てた。 本稿では,ニューラルネットワークの真の損失面に対する新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-02-12T19:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。