論文の概要: Implicit Data-Driven Regularization in Deep Neural Networks under SGD

• arxiv url: http://arxiv.org/abs/2111.13331v1
• Date: Fri, 26 Nov 2021 06:36:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-29 23:59:08.327361
• Title: Implicit Data-Driven Regularization in Deep Neural Networks under SGD
• Title（参考訳）: SGD下の深部ニューラルネットワークにおける暗黙のデータ駆動規則化
• Authors: Xuran Meng, Jianfeng Yao
• Abstract要約: 訓練されたディープニューラルネットワーク(DNN)に関与する大きなランダム行列のスペクトル解析 これらのスペクトルは、Marvcenko-Pasturスペクトル(MP)、Marvcenko-Pasturスペクトル(MPB)、Heav tailed spectrum(HT)の3種類に分類される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Much research effort has been devoted to explaining the success of deep learning. Random Matrix Theory (RMT) provides an emerging way to this end: spectral analysis of large random matrices involved in a trained deep neural network (DNN) such as weight matrices or Hessian matrices with respect to the stochastic gradient descent algorithm. In this paper, we conduct extensive experiments on weight matrices in different modules, e.g., layers, networks and data sets, to analyze the evolution of their spectra. We find that these spectra can be classified into three main types: Mar\v{c}enko-Pastur spectrum (MP), Mar\v{c}enko-Pastur spectrum with few bleeding outliers (MPB), and Heavy tailed spectrum (HT). Moreover, these discovered spectra are directly connected to the degree of regularization in the DNN. We argue that the degree of regularization depends on the quality of data fed to the DNN, namely Data-Driven Regularization. These findings are validated in several NNs, using Gaussian synthetic data and real data sets (MNIST and CIFAR10). Finally, we propose a spectral criterion and construct an early stopping procedure when the NN is found highly regularized without test data by using the connection between the spectra types and the degrees of regularization. Such early stopped DNNs avoid unnecessary extra training while preserving a much comparable generalization ability.
• Abstract（参考訳）: 深層学習の成功を説明するために多くの研究努力が注がれている。 確率行列理論(rmt)はこの目的への新たな方法を提供する: 確率的勾配降下アルゴリズムに関して、重み行列やヘッセン行列のような訓練された深層ニューラルネットワーク(dnn)に関与する大きなランダム行列のスペクトル解析。 本稿では,様々なモジュール(層,ネットワーク,データセットなど)の重み行列に関する広範囲な実験を行い,スペクトルの進化を分析する。 その結果,これらのスペクトルは,Mal\v{c}enko-Pasturスペクトル(MP),Mal\v{c}enko-Pasturスペクトル(MPB),Heaved tailed spectrum(HT)の3種類に分類されることがわかった。 さらに、これらの検出されたスペクトルは、dnnの正則化度に直接接続される。 正規化の度合いは、dnnに供給されるデータの品質、すなわちデータ駆動正規化に依存する。 これらの結果は、ガウス合成データと実データ(MNISTとCIFAR10)を用いて、いくつかのNNで検証されている。 最後に、スペクトル型と正規化度との接続を用いて、テストデータなしでNNが高度に正規化されている場合のスペクトル基準を提案し、早期停止手順を構築する。 このような早期停止DNNは、同等の一般化能力を維持しながら、不要な余分なトレーニングを避ける。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Specformer: Spectral Graph Neural Networks Meet Transformers [51.644312964537356]
  スペクトルグラフニューラルネットワーク(GNN)は、スペクトル領域グラフ畳み込みを通じてグラフ表現を学習する。 本稿では、全ての固有値の集合を効果的に符号化し、スペクトル領域で自己アテンションを行うSpecformerを紹介する。 複数のSpecformerレイヤを積み重ねることで、強力なスペクトルGNNを構築することができる。
  論文  参考訳（メタデータ） (2023-03-02T07:36:23Z)
• Spectral Complexity-scaled Generalization Bound of Complex-valued Neural Networks [78.64167379726163]
  本論文は,複素数値ニューラルネットワークの一般化を証明した最初の論文である。 複雑な値の畳み込みニューラルネットワークを異なるデータセット上でトレーニングして実験を行う。
  論文  参考訳（メタデータ） (2021-12-07T03:25:25Z)
• Deep learning and high harmonic generation [0.0]
  我々は,高調波発生(hhg)シナリオに適用する場合に,様々な深層ニューラルネットワーク(nns)の有用性を検討する。 まず,二原子系および三原子系の低次元モデルから時間依存双極子およびhhg放出スペクトルを予測するためにnnsを訓練する。 次に,ネットワークに適用可能性の範囲を広げるために,転送学習をネットワークに適用できることを実証する。
  論文  参考訳（メタデータ） (2020-12-18T16:13:17Z)
• Linear-Sample Learning of Low-Rank Distributions [56.59844655107251]
  ktimes k$, rank-r$, matrices to normalized $L_1$ distance requires $Omega(frackrepsilon2)$ sample。 我々は、$cal O(frackrepsilon2log2fracepsilon)$ sample, a number linear in the high dimension, and almost linear in the matrices, usually low, rank proofs.というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-30T19:10:32Z)
• The Spectrum of Fisher Information of Deep Networks Achieving Dynamical Isometry [9.289846887298852]
  Fisher InformationMatrix (FIM) はディープニューラルネット(DNN)のトレーニング可能性を理解するための基礎となる。 完全接続ネットワークに着目し, 単一サンプルのFIMである条件付きFIMのスペクトル分布について検討した。 パラメータ空間の局所距離は、動的等距離の下でも線形に深さに依存する。
  論文  参考訳（メタデータ） (2020-06-14T06:32:46Z)
• Beyond Random Matrix Theory for Deep Networks [0.7614628596146599]
  Wigner semi-circle と Marcenko-Pastur の分布は、しばしばディープニューラルネットワーク理論解析に使用されるが、経験的に観察されたスペクトル密度と一致するかを検討する。 観測されたスペクトル形状は, 外れ値が許容される場合でも, 理論的な予測から大きく逸脱することがわかった。 行列アンサンブルの新しいクラスとして、ランダムなウィグナー/ウィッシュアートアンサンブル生成物とパーコレーションされたウィグナー/ウィッシュアートアンサンブルを考える。
  論文  参考訳（メタデータ） (2020-06-13T21:00:30Z)
• A Systematic Approach to Featurization for Cancer Drug Sensitivity Predictions with Deep Learning [49.86828302591469]
  35,000以上のニューラルネットワークモデルをトレーニングし、一般的な成果化技術を駆使しています。 RNA-seqは128以上のサブセットであっても非常に冗長で情報的であることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T20:42:17Z)
• Spectral Learning on Matrices and Tensors [74.88243719463053]
  テンソル分解は行列法で欠落する潜伏効果を拾うことができることを示す。 また,効率的なテンソル分解法を設計するための計算手法についても概説する。
  論文  参考訳（メタデータ） (2020-04-16T22:53:00Z)
• Blind Source Separation for NMR Spectra with Negative Intensity [0.0]
  我々は、負の強度を含むNMRスペクトル分析のためのブラインド音源分離手法をベンチマークした。 FastICA、SIMPLISMA、NNMFは最高のパフォーマンス技術である。 FastICAとSIMPLISMAの精度は、過剰な(非現実的な)純粋なコンポーネントが予測されると急速に低下する。
  論文  参考訳（メタデータ） (2020-02-07T20:57:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。