論文の概要: On the exact computation of linear frequency principle dynamics and its
generalization
- arxiv url: http://arxiv.org/abs/2010.08153v1
- Date: Thu, 15 Oct 2020 15:17:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-07 04:55:50.099830
- Title: On the exact computation of linear frequency principle dynamics and its
generalization
- Title（参考訳）: 線形周波数原理ダイナミクスの精密計算とその一般化について
- Authors: Tao Luo, Zheng Ma, Zhi-Qin John Xu, Yaoyu Zhang
- Abstract要約: 近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。
本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
- 参考スコア（独自算出の注目度）: 6.380166265263755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent works show an intriguing phenomenon of Frequency Principle
(F-Principle) that deep neural networks (DNNs) fit the target function from low
to high frequency during the training, which provides insight into the training
and generalization behavior of DNNs in complex tasks. In this paper, through
analysis of an infinite-width two-layer NN in the neural tangent kernel (NTK)
regime, we derive the exact differential equation, namely Linear
Frequency-Principle (LFP) model, governing the evolution of NN output function
in the frequency domain during the training. Our exact computation applies for
general activation functions with no assumption on size and distribution of
training data. This LFP model unravels that higher frequencies evolve
polynomially or exponentially slower than lower frequencies depending on the
smoothness/regularity of the activation function. We further bridge the gap
between training dynamics and generalization by proving that LFP model
implicitly minimizes a Frequency-Principle norm (FP-norm) of the learned
function, by which higher frequencies are more severely penalized depending on
the inverse of their evolution rate. Finally, we derive an \textit{a priori}
generalization error bound controlled by the FP-norm of the target function,
which provides a theoretical justification for the empirical results that DNNs
often generalize well for low frequency functions.
- Abstract（参考訳）: 近年の研究では、深層ニューラルネットワーク(DNN)がトレーニング中に低頻度から高頻度までターゲット機能に適合し、複雑なタスクにおけるDNNのトレーニングと一般化行動に関する洞察を提供するという、周波数原理(F-Principle)の興味深い現象が示されている。
本稿では,ニューラルタンジェントカーネル(NTK)系における無限幅2層NNの解析を通じて,線形周波数原理(LFP)モデルという正確な微分方程式を導出し,トレーニング中の周波数領域におけるNN出力関数の進化を制御した。
トレーニングデータのサイズや分布を前提にせず,汎用的なアクティベーション関数に対して正確な計算を行う。
このLFPモデルは、活性化関数の滑らかさ/規則性に応じて、高周波数が低周波数よりも多項式的にまたは指数的に遅いことを明らかにする。
さらに、LFPモデルが学習関数の周波数原理ノルム(FP-norm)を暗黙的に最小化することを示すことによって、トレーニングダイナミクスと一般化のギャップを埋める。
最後に、ターゲット関数のFP-ノルムによって制御される \textit{a priori} 一般化誤差を導出し、DNNが低周波関数に対してよく一般化する経験的結果に対する理論的正当化を与える。
関連論文リスト
- Understanding the dynamics of the frequency bias in neural networks [0.0]
近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。
2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。
実験により、同じ原理が多層NNに拡張されていることを示す。
論文 参考訳（メタデータ） (2024-05-23T18:09:16Z) - How neural networks learn to classify chaotic time series [77.34726150561087]
本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。
入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
論文 参考訳（メタデータ） (2023-06-04T08:53:27Z) - Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。
よりスムーズな関数との補間により、より一般化できることを示す。
論文 参考訳（メタデータ） (2023-05-30T19:37:44Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Properties and Potential Applications of Random Functional-Linked Types
of Neural Networks [81.56822938033119]
ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。
本稿では周波数領域の観点からRFLNNの特性について考察する。
本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
論文 参考訳（メタデータ） (2023-04-03T13:25:22Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳（メタデータ） (2022-11-28T09:57:15Z) - Transform Once: Efficient Operator Learning in Frequency Domain [69.74509540521397]
本研究では、周波数領域の構造を利用して、空間や時間における長距離相関を効率的に学習するために設計されたディープニューラルネットワークについて検討する。
この研究は、単一変換による周波数領域学習のための青写真を導入している。
論文 参考訳（メタデータ） (2022-11-26T01:56:05Z) - A Quadrature Perspective on Frequency Bias in Neural Network Training
with Nonuniform Data [1.7188280334580197]
勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。
我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
論文 参考訳（メタデータ） (2022-05-28T02:31:19Z) - Linear Frequency Principle Model to Understand the Absence of
Overfitting in Neural Networks [4.86119220344659]
ターゲット関数の低周波支配が,NNの非オーバーフィッティングの鍵となる条件であることを示す。
理想の2層NNを用いて,定量的な予測力を持つLFPモデルが統計的にいかに詳細なNNトレーニングのダイナミックスをもたらすかを明らかにする。
論文 参考訳（メタデータ） (2021-01-30T10:11:37Z) - Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks [9.23835409289015]
本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。
非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
論文 参考訳（メタデータ） (2019-01-19T13:37:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。