論文の概要: Random matrix theory and the loss surfaces of neural networks
- arxiv url: http://arxiv.org/abs/2306.02108v1
- Date: Sat, 3 Jun 2023 13:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-06 20:04:49.958411
- Title: Random matrix theory and the loss surfaces of neural networks
- Title（参考訳）: ニューラルネットワークのランダム行列理論と損失曲面
- Authors: Nicholas P Baskerville
- Abstract要約: 乱数行列理論を用いて、大きなニューラルネットワークの損失面を理解し、記述する。
我々は、ニューラルネットワーク損失面のヘッセンとそのスペクトルについて、強力で新しい結果を得る。
この論文は、現代のニューラルネットワークの理論研究におけるランダム行列理論の位置づけに重要な貢献をする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural network models are one of the most successful approaches to machine
learning, enjoying an enormous amount of development and research over recent
years and finding concrete real-world applications in almost any conceivable
area of science, engineering and modern life in general. The theoretical
understanding of neural networks trails significantly behind their practical
success and the engineering heuristics that have grown up around them. Random
matrix theory provides a rich framework of tools with which aspects of neural
network phenomenology can be explored theoretically. In this thesis, we
establish significant extensions of prior work using random matrix theory to
understand and describe the loss surfaces of large neural networks,
particularly generalising to different architectures. Informed by the
historical applications of random matrix theory in physics and elsewhere, we
establish the presence of local random matrix universality in real neural
networks and then utilise this as a modeling assumption to derive powerful and
novel results about the Hessians of neural network loss surfaces and their
spectra. In addition to these major contributions, we make use of random matrix
models for neural network loss surfaces to shed light on modern neural network
training approaches and even to derive a novel and effective variant of a
popular optimisation algorithm.
Overall, this thesis provides important contributions to cement the place of
random matrix theory in the theoretical study of modern neural networks,
reveals some of the limits of existing approaches and begins the study of an
entirely new role for random matrix theory in the theory of deep learning with
important experimental discoveries and novel theoretical results based on local
random matrix universality.
- Abstract（参考訳）: ニューラルネットワークモデルは、機械学習における最も成功したアプローチの1つであり、近年の膨大な開発と研究を楽しみ、科学、工学、現代生活のほぼあらゆる領域における具体的な現実世界の応用を見つける。
ニューラルネットワークの理論的理解は、その実用的成功と、その周囲で成長したエンジニアリングヒューリスティックに大きく遅れている。
ランダム行列理論は、ニューラルネットワーク現象学の側面を理論的に探求できるツールの豊富なフレームワークを提供する。
本論文では,大規模ニューラルネットワークの損失面,特に異なるアーキテクチャへの一般化を理解するために,ランダム行列理論を用いた先行研究の重要な拡張を行う。
物理などにおけるランダム行列理論の歴史的応用により、実ニューラルネットワークにおける局所的ランダム行列普遍性の存在を確立し、これをモデリング仮定として利用し、ニューラルネットワーク損失面とそのスペクトルのヘシアンに関する強力で斬新な結果を導出する。
これらの主な貢献に加えて、ニューラルネットワーク損失面のランダム行列モデルを用いて、現代のニューラルネットワークトレーニングアプローチに光を当て、また、人気のある最適化アルゴリズムの新規かつ効果的な変種を導出する。
全体として、この論文は、現代のニューラルネットワークの理論研究におけるランダム行列理論の位置づけを確固たるものにするために重要な貢献を与え、既存のアプローチの限界を明らかにし、重要な実験的な発見と局所ランダム行列普遍性に基づく新しい理論結果を持つ深層学習理論におけるランダム行列理論の全く新しい役割の研究を開始する。
関連論文リスト
- Reasoning Algorithmically in Graph Neural Networks [1.8130068086063336]
ニューラルネットワークの適応学習能力にアルゴリズムの構造的および規則に基づく推論を統合することを目的としている。
この論文は、この領域の研究に理論的および実践的な貢献を提供する。
論文 参考訳（メタデータ） (2024-02-21T12:16:51Z) - Mechanistic Neural Networks for Scientific Machine Learning [58.99592521721158]
我々は、科学における機械学習応用のためのニューラルネットワーク設計であるメカニスティックニューラルネットワークを提案する。
新しいメカニスティックブロックを標準アーキテクチャに組み込んで、微分方程式を表現として明示的に学習する。
我々のアプローチの中心は、線形プログラムを解くために線形ODEを解く技術に着想を得た、新しい線形計画解法(NeuRLP)である。
論文 参考訳（メタデータ） (2024-02-20T15:23:24Z) - Riemannian Residual Neural Networks [58.925132597945634]
残余ニューラルネットワーク(ResNet)の拡張方法を示す。
ResNetは、機械学習において、有益な学習特性、優れた経験的結果、そして様々なニューラルネットワークを構築する際に容易に組み込める性質のために、ユビキタスになった。
論文 参考訳（メタデータ） (2023-10-16T02:12:32Z) - Deep Learning Meets Sparse Regularization: A Signal Processing
Perspective [17.12783792226575]
データに適合するように訓練されたニューラルネットワークの機能特性を特徴付ける数学的枠組みを提案する。
このフレームワークをサポートする主要な数学的ツールは、変換領域スパース正規化、計算トモグラフィーのラドン変換、近似理論である。
このフレームワークは、ニューラルネットワークトレーニングにおける重量減衰正則化の効果、ネットワークアーキテクチャにおけるスキップ接続と低ランク重量行列の使用、ニューラルネットワークにおける空間性の役割、そしてニューラルネットワークが高次元問題でうまく機能する理由を説明する。
論文 参考訳（メタデータ） (2023-01-23T17:16:21Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳（メタデータ） (2022-10-06T13:04:45Z) - Gaussian Process Surrogate Models for Neural Networks [6.8304779077042515]
科学と工学において、モデリング(英: modeling)とは、内部プロセスが不透明な複雑なシステムを理解するために用いられる方法論である。
本稿では,ガウス過程を用いたニューラルネットワークの代理モデルのクラスを構築する。
提案手法は,ニューラルネットワークのスペクトルバイアスに関連する既存の現象を捕捉し,サロゲートモデルを用いて現実的な問題を解決することを実証する。
論文 参考訳（メタデータ） (2022-08-11T20:17:02Z) - Universal characteristics of deep neural network loss surfaces from
random matrix theory [0.5249805590164901]
我々は、局所統計学に関連するランダム行列の普遍的性質を用いて、ディープニューラルネットワークの実践的含意を導出する。
特に、ディープニューラルネットワークのスペクトルにおける外れ値の普遍的な側面を導出し、一般的な事前条件勾配勾配アルゴリズムにおけるランダム行列局所法則の重要な役割を実証する。
論文 参考訳（メタデータ） (2022-05-17T19:42:23Z) - Quasi-orthogonality and intrinsic dimensions as measures of learning and
generalisation [55.80128181112308]
ニューラルネットワークの特徴空間の次元性と準直交性は、ネットワークの性能差別と共同して機能する可能性があることを示す。
本研究は, ネットワークの最終的な性能と, ランダムに初期化された特徴空間の特性との関係を示唆する。
論文 参考訳（メタデータ） (2022-03-30T21:47:32Z) - What can linearized neural networks actually say about generalization? [67.83999394554621]
ある無限大のニューラルネットワークにおいて、ニューラル・タンジェント・カーネル(NTK)理論は一般化を完全に特徴づける。
線形近似は、ニューラルネットワークの特定のタスクの学習複雑性を確実にランク付けできることを示す。
我々の研究は、将来の理論的研究を刺激する新しい深層学習現象の具体例を提供する。
論文 参考訳（メタデータ） (2021-06-12T13:05:11Z) - Formalizing Generalization and Robustness of Neural Networks to Weight
Perturbations [58.731070632586594]
非負のモノトーンアクティベーション機能を備えたフィードフォワードニューラルネットワークの重量変動に対する最初の形式解析を提供します。
また,重みの摂動に対して一般化し頑健なニューラルネットワークを訓練するための新しい理論駆動損失関数を設計した。
論文 参考訳（メタデータ） (2021-03-03T06:17:03Z) - Applicability of Random Matrix Theory in Deep Learning [0.966840768820136]
本研究では,ニューラルネットワークの損失面ヘッシアンの局所スペクトル統計について検討する。
ニューラルネットワークのモデリングにおけるランダム行列理論の適用性に新たな光を当てた。
本稿では,ニューラルネットワークの真の損失面に対する新しいモデルを提案する。
論文 参考訳（メタデータ） (2021-02-12T19:49:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。