論文の概要: Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks
- arxiv url: http://arxiv.org/abs/1901.06523v6
- Date: Wed, 15 May 2024 11:48:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-16 18:49:58.407890
- Title: Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks
- Title（参考訳）: 周波数原理: フーリエ解析はディープニューラルネットワークに光を放つ
- Authors: Zhi-Qin John Xu, Yaoyu Zhang, Tao Luo, Yanyang Xiao, Zheng Ma,
- Abstract要約: 本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。
非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
- 参考スコア（独自算出の注目度）: 9.23835409289015
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We study the training process of Deep Neural Networks (DNNs) from the Fourier analysis perspective. We demonstrate a very universal Frequency Principle (F-Principle) -- DNNs often fit target functions from low to high frequencies -- on high-dimensional benchmark datasets such as MNIST/CIFAR10 and deep neural networks such as VGG16. This F-Principle of DNNs is opposite to the behavior of most conventional iterative numerical schemes (e.g., Jacobi method), which exhibit faster convergence for higher frequencies for various scientific computing problems. With a simple theory, we illustrate that this F-Principle results from the regularity of the commonly used activation functions. The F-Principle implies an implicit bias that DNNs tend to fit training data by a low-frequency function. This understanding provides an explanation of good generalization of DNNs on most real datasets and bad generalization of DNNs on parity function or randomized dataset.
- Abstract（参考訳）: 本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。
我々は、MNIST/CIFAR10のような高次元のベンチマークデータセットとVGG16のようなディープニューラルネットワークに、非常に普遍的な周波数原理(F-Principle) -- DNNが、しばしば低から高頻度のターゲット関数に適合することを示す。
このDNNのF原理は、従来の反復的数値スキーム(例えばヤコビ法)の挙動とは逆であり、様々な科学計算問題に対してより高速な収束を示す。
単純な理論では、このF-原理はよく使われる活性化関数の正則性から生じる。
F-Principleは、DNNが低周波関数でトレーニングデータに適合する傾向があるという暗黙のバイアスを意味する。
この理解は、ほとんどの実データセット上でのDNNの適切な一般化と、パリティ関数やランダム化されたデータセット上でのDNNの悪い一般化の説明を提供する。
関連論文リスト
- Understanding the dynamics of the frequency bias in neural networks [0.0]
近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。
2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。
実験により、同じ原理が多層NNに拡張されていることを示す。
論文 参考訳（メタデータ） (2024-05-23T18:09:16Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Investigations on convergence behaviour of Physics Informed Neural
Networks across spectral ranges and derivative orders [0.0]
ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。
SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。
これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。
正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
論文 参考訳（メタデータ） (2023-01-07T06:31:28Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。
これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。
このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。
我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
論文 参考訳（メタデータ） (2022-02-27T23:12:43Z) - Overview frequency principle/spectral bias in deep learning [3.957124094805574]
深層ニューラルネットワーク(DNN)の学習行動の周波数原理(F-Principle)を示す。
F-原則は1次元の合成データで最初に実証され、続いて高次元の実際のデータセットで検証される。
この低周波バイアスは、低周波関数の学習におけるニューラルネットワークの強みと、高周波関数の学習におけるその欠如を明らかにする。
論文 参考訳（メタデータ） (2022-01-19T03:08:33Z) - Rank-R FNN: A Tensor-Based Learning Model for High-Order Data
Classification [69.26747803963907]
Rank-R Feedforward Neural Network (FNN)は、そのパラメータにCanonical/Polyadic分解を課すテンソルベースの非線形学習モデルである。
まず、入力をマルチリニアアレイとして扱い、ベクトル化の必要性を回避し、すべてのデータ次元に沿って構造情報を十分に活用することができる。
Rank-R FNNの普遍的な近似と学習性の特性を確立し、実世界のハイパースペクトルデータセットのパフォーマンスを検証する。
論文 参考訳（メタデータ） (2021-04-11T16:37:32Z) - Linear Frequency Principle Model to Understand the Absence of
Overfitting in Neural Networks [4.86119220344659]
ターゲット関数の低周波支配が,NNの非オーバーフィッティングの鍵となる条件であることを示す。
理想の2層NNを用いて,定量的な予測力を持つLFPモデルが統計的にいかに詳細なNNトレーニングのダイナミックスをもたらすかを明らかにする。
論文 参考訳（メタデータ） (2021-01-30T10:11:37Z) - On the exact computation of linear frequency principle dynamics and its
generalization [6.380166265263755]
近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。
本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
論文 参考訳（メタデータ） (2020-10-15T15:17:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。