論文の概要: Deep frequency principle towards understanding why deeper learning is faster

• arxiv url: http://arxiv.org/abs/2007.14313v2
• Date: Sun, 20 Dec 2020 05:24:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-06 01:44:39.344598
• Title: Deep frequency principle towards understanding why deeper learning is faster
• Title（参考訳）: 深層学習が速い理由を理解するための深層周波数原理
• Authors: Zhi-Qin John Xu, Hanxu Zhou
• Abstract要約: フィードフォワード深層学習が高速な理由を実証的に理解するために,フーリエ解析を用いる。 本研究では, 深層層をトレーニング中に低周波に偏り, 深層層に偏りを生じさせる効果的な目標関数を提案する。
• 参考スコア（独自算出の注目度）: 6.85316573653194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Understanding the effect of depth in deep learning is a critical problem. In this work, we utilize the Fourier analysis to empirically provide a promising mechanism to understand why feedforward deeper learning is faster. To this end, we separate a deep neural network, trained by normal stochastic gradient descent, into two parts during analysis, i.e., a pre-condition component and a learning component, in which the output of the pre-condition one is the input of the learning one. We use a filtering method to characterize the frequency distribution of a high-dimensional function. Based on experiments of deep networks and real dataset, we propose a deep frequency principle, that is, the effective target function for a deeper hidden layer biases towards lower frequency during the training. Therefore, the learning component effectively learns a lower frequency function if the pre-condition component has more layers. Due to the well-studied frequency principle, i.e., deep neural networks learn lower frequency functions faster, the deep frequency principle provides a reasonable explanation to why deeper learning is faster. We believe these empirical studies would be valuable for future theoretical studies of the effect of depth in deep learning.
• Abstract（参考訳）: 深層学習における深度の影響を理解することは重要な問題である。 本研究では,フーリエ解析を用いて,フィードフォワード深層学習が高速である理由を理解するための有望なメカニズムを提供する。 この目的のために、通常の確率勾配降下によって訓練されたディープニューラルネットワークを、前条件成分と学習成分の2つの部分、すなわち、前条件成分の出力が学習成分の入力である分析中に分離する。 フィルタ法を用いて高次元関数の周波数分布を特徴付ける。 深層ネットワークと実データ集合の実験に基づいて,深層層が低周波に偏る場合の有効目標関数である深層周波数原理を提案する。 したがって、事前条件成分がより多くの層を有する場合、学習成分は低周波関数を効果的に学習する。 深層ニューラルネットワークは、よく研究された周波数原理、すなわち、低周波関数をより早く学習するため、深層周波数原理は、深層学習がなぜ速いのかの合理的な説明を提供する。 これらの経験的研究は、深層学習における深層効果の将来の理論的研究に有用であると信じている。

関連論文リスト

• Normalization and effective learning rates in reinforcement learning [52.59508428613934]
  正規化層は近年,深層強化学習と連続学習文学においてルネッサンスを経験している。 正規化は、ネットワークパラメータのノルムにおける成長と効果的な学習速度における崩壊の間の等価性という、微妙だが重要な副作用をもたらすことを示す。 そこで本研究では,正規化・プロジェクトと呼ぶ単純な再パラメータ化により,学習率を明示的にする手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:58:01Z)
• Frequency-Aware Deepfake Detection: Improving Generalizability through Frequency Space Learning [81.98675881423131]
  この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。 既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。 本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
  論文  参考訳（メタデータ） (2024-03-12T01:28:00Z)
• Model-based learning for location-to-channel mapping [0.0]
  本稿では,ターゲットマッピング関数の高周波成分から低周波を分離するフラガー型モデルベースネットワークを提案する。 これにより、ニューラルネットワークは、高周波成分の辞書において、低周波スパース係数のみを学習するハイパーネットワークアーキテクチャが得られる。 シミュレーションの結果,提案したニューラルネットワークは,現実的な合成データに対する標準的なアプローチよりも優れていた。
  論文  参考訳（メタデータ） (2023-08-28T07:39:53Z)
• What do neural networks learn in image classification? A frequency shortcut perspective [3.9858496473361402]
  本研究では,ニューラルネットワーク(NN)における周波数ショートカットの学習力学を実験的に研究する。 NNは、分類のための単純な解を見つける傾向があり、訓練中に最初に何を学ぶかは、最も特徴的な周波数特性に依存する。 本稿では,クラスワイズ周波数特性を測定するための指標と,周波数ショートカットの同定方法を提案する。
  論文  参考訳（メタデータ） (2023-07-19T08:34:25Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Overview frequency principle/spectral bias in deep learning [8.78791231619729]
  深層ニューラルネットワーク(DNN)の学習行動の周波数原理(F-Principle)を示す。 F-原則は1次元の合成データによって最初に実証され、続いて高次元の実データセットで検証される。 この低周波バイアスは、低周波関数の学習におけるニューラルネットワークの強みと、高周波関数の学習におけるその欠如を明らかにする。
  論文  参考訳（メタデータ） (2022-01-19T03:08:33Z)
• Functional Regularization for Reinforcement Learning via Learned Fourier Features [98.90474131452588]
  本稿では、入力を学習されたフーリエベースに埋め込むことにより、深層強化学習のための簡単なアーキテクチャを提案する。 その結果、状態ベースと画像ベースの両方のRLのサンプル効率が向上することがわかった。
  論文  参考訳（メタデータ） (2021-12-06T18:59:52Z)
• The Connection Between Approximation, Depth Separation and Learnability in Neural Networks [70.55686685872008]
  学習可能性と近似能力の関係について検討する。 対象関数の深いネットワークでの学習性は、より単純なクラスがターゲットを近似する能力に依存することを示す。
  論文  参考訳（メタデータ） (2021-01-31T11:32:30Z)
• Prior knowledge distillation based on financial time series [0.8756822885568589]
  我々は,ニューラルネットワークを用いて指標を表現し,より小さなネットワークを特徴層として構築した大規模ネットワークを訓練することを提案する。 数値実験により,本アルゴリズムは実際の財務データセットの従来の手法よりも高速かつ高精度であることが判明した。
  論文  参考訳（メタデータ） (2020-06-16T15:26:06Z)
• Is deeper better? It depends on locality of relevant features [5.33024001730262]
  過パラメータ化方式における深さ増加の効果について検討する。 実験では、より深いラベルはローカルレーベルにとって、より浅いラベルはグローバルレーベルにとって、より優れていることが示されている。 ニューラルネットワークは、一般化性能の深さ依存性を正しく捉えていない。
  論文  参考訳（メタデータ） (2020-05-26T02:44:18Z)
• The large learning rate phase of deep learning: the catapult mechanism [50.23041928811575]
  問題解決可能なトレーニングダイナミクスを備えたニューラルネットワークのクラスを提示する。 現実的なディープラーニング環境において,モデルの予測とトレーニングのダイナミクスとの間には,よい一致がある。 我々の結果は、異なる学習率でトレーニングされたモデルの特性に光を当てたと信じています。
  論文  参考訳（メタデータ） (2020-03-04T17:52:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。