論文の概要: Applicability of Random Matrix Theory in Deep Learning
- arxiv url: http://arxiv.org/abs/2102.06740v1
- Date: Fri, 12 Feb 2021 19:49:19 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:58:38.896593
- Title: Applicability of Random Matrix Theory in Deep Learning
- Title（参考訳）: 深層学習におけるランダム行列理論の適用性
- Authors: Nicholas P Baskerville and Diego Granziol and Jonathan P Keating
- Abstract要約: 本研究では,ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計について検討する。
ニューラルネットワークのモデリングにおけるランダム行列理論の適用性に新たな光を当てた。
本稿では,ニューラルネットワークの真の損失面に対する新しいモデルを提案する。
- 参考スコア（独自算出の注目度）: 0.966840768820136
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the local spectral statistics of the loss surface Hessians of
artificial neural networks, where we discover excellent agreement with Gaussian
Orthogonal Ensemble statistics across several network architectures and
datasets. These results shed new light on the applicability of Random Matrix
Theory to modelling neural networks and suggest a previously unrecognised role
for it in the study of loss surfaces in deep learning. Inspired by these
observations, we propose a novel model for the true loss surfaces of neural
networks, consistent with our observations, which allows for Hessian spectral
densities with rank degeneracy and outliers, extensively observed in practice,
and predicts a growing independence of loss gradients as a function of distance
in weight-space. We further investigate the importance of the true loss surface
in neural networks and find, in contrast to previous work, that the exponential
hardness of locating the global minimum has practical consequences for
achieving state of the art performance.
- Abstract（参考訳）: 人工ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計を調査し、ガウス直交エンサンブル統計といくつかのネットワークアーキテクチャとデータセットの優れた一致を発見した。
これらの結果は、ニューラルネットワークのモデリングに対するランダム行列理論の適用可能性に新たな光を当て、ディープラーニングにおける損失面の研究において、これまで認識されていなかった役割を示唆している。
これらの観測から着想を得た本研究では,重み空間における距離関数としての損失勾配の増大を予測し,ヘッシアンスペクトル密度をランクデジェネラシーとアウトプライヤで実現する,ニューラルネットワークの真の損失面に関する新しいモデルを提案する。
我々はさらに,ニューラルネットワークにおける真の損失面の重要性を検証し,これまでの研究とは対照的に,グローバル最小の探索の指数的困難さは,芸術性能の達成に実際的な効果をもたらすことを見出した。
関連論文リスト
- A Subsampling Based Neural Network for Spatial Data [0.0]
本稿では、空間データに対する一貫した局所化された2層ディープニューラルネットワークに基づく回帰を提案する。
観測されたデータと予測されたデータの経験的確率分布の差分尺度の収束率を実験的に観察し、より滑らかな空間表面ではより高速になる。
この応用は非線形空間回帰の効果的な例である。
論文 参考訳（メタデータ） (2024-11-06T02:37:43Z) - Addressing caveats of neural persistence with deep graph persistence [54.424983583720675]
神経の持続性に影響を与える主な要因は,ネットワークの重みのばらつきと大きな重みの空間集中である。
単一層ではなく,ニューラルネットワーク全体へのニューラルネットワークの持続性に基づくフィルタリングの拡張を提案する。
これにより、ネットワーク内の永続的なパスを暗黙的に取り込み、分散に関連する問題を緩和するディープグラフの永続性測定が得られます。
論文 参考訳（メタデータ） (2023-07-20T13:34:11Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - A Local Geometric Interpretation of Feature Extraction in Deep
Feedforward Neural Networks [13.159994710917022]
本稿では, 深部フィードフォワードニューラルネットワークが高次元データから低次元特徴をいかに抽出するかを理解するための局所幾何学的解析法を提案する。
本研究は, 局所幾何学領域において, ニューラルネットワークの一層における最適重みと前層の最適特徴が, この層のベイズ作用によって決定される行列の低ランク近似を構成することを示す。
論文 参考訳（メタデータ） (2022-02-09T18:50:00Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - With Greater Distance Comes Worse Performance: On the Perspective of
Layer Utilization and Model Generalization [3.6321778403619285]
ディープニューラルネットワークの一般化は、マシンラーニングにおける主要なオープンな問題の1つだ。
初期のレイヤは一般的に、トレーニングデータとテストデータの両方のパフォーマンスに関する表現を学びます。
より深いレイヤは、トレーニングのリスクを最小限に抑え、テストや不正なラベル付けされたデータとうまく連携できない。
論文 参考訳（メタデータ） (2022-01-28T05:26:32Z) - The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer
Linear Networks [51.1848572349154]
ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。
我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
論文 参考訳（メタデータ） (2021-08-25T22:01:01Z) - Topological obstructions in neural networks learning [67.8848058842671]
損失勾配関数フローのグローバル特性について検討する。
損失関数とそのモースコンプレックスの位相データ解析を用いて,損失面の大域的特性と勾配軌道に沿った局所的挙動を関連付ける。
論文 参考訳（メタデータ） (2020-12-31T18:53:25Z) - Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。
この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
論文 参考訳（メタデータ） (2020-11-18T18:52:08Z) - The Loss Surfaces of Neural Networks with General Activation Functions [0.0]
我々は、ランダム行列理論の超対称手法を用いてスピングラスの複雑性計算を通して新しい経路をグラフ化する。
我々の結果は、この文脈におけるスピンガラスモデルの強度と弱さの両方に新たな光を当てた。
論文 参考訳（メタデータ） (2020-04-08T12:19:25Z) - Avoiding Spurious Local Minima in Deep Quadratic Networks [0.0]
ニューラルアクティベーション機能を持つネットワークにおける平均2乗非線形誤差の景観を特徴付ける。
2次アクティベーションを持つ深層ニューラルネットワークは、類似した景観特性の恩恵を受けることが証明された。
論文 参考訳（メタデータ） (2019-12-31T22:31:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。