論文の概要: Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks

• arxiv url: http://arxiv.org/abs/2102.00200v1
• Date: Sat, 30 Jan 2021 10:11:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-04 10:14:00.039825
• Title: Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks
• Title（参考訳）: ニューラルネットワークにおけるオーバーフィッティングの欠如を理解する線形周波数原理モデル
• Authors: Yaoyu Zhang, Tao Luo, Zheng Ma, and Zhi-Qin John Xu
• Abstract要約: ターゲット関数の低周波支配が,NNの非オーバーフィッティングの鍵となる条件であることを示す。 理想の2層NNを用いて,定量的な予測力を持つLFPモデルが統計的にいかに詳細なNNトレーニングのダイナミックスをもたらすかを明らかにする。
• 参考スコア（独自算出の注目度）: 4.86119220344659
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Why heavily parameterized neural networks (NNs) do not overfit the data is an important long standing open question. We propose a phenomenological model of the NN training to explain this non-overfitting puzzle. Our linear frequency principle (LFP) model accounts for a key dynamical feature of NNs: they learn low frequencies first, irrespective of microscopic details. Theory based on our LFP model shows that low frequency dominance of target functions is the key condition for the non-overfitting of NNs and is verified by experiments. Furthermore, through an ideal two-layer NN, we unravel how detailed microscopic NN training dynamics statistically gives rise to a LFP model with quantitative prediction power.
• Abstract（参考訳）: なぜ重度パラメータ化ニューラルネットワーク(NN)がデータを過度に満たさないのかは、長い間続いている重要な疑問である。 NNトレーニングの現象モデルを提案し、この不適切なパズルを説明します。 我々の線形周波数原理(英語版)(lfp)モデルはnnsの重要な力学特徴を成している: 微視的詳細に関係なく、まず低周波数を学習する。 我々のLFPモデルに基づく理論は、ターゲット関数の低周波支配がNNの非オーバーフィッティングの鍵条件であることを示し、実験により検証する。 さらに,理想の2層nnを用いて,微視的nnトレーニングダイナミクスが統計的にlfpモデルに定量的な予測能力をもたらすかを明らかにする。

関連論文リスト

• Understanding the dynamics of the frequency bias in neural networks [0.0]
  近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:09:16Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• On the exact computation of linear frequency principle dynamics and its generalization [6.380166265263755]
  近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。 本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
  論文  参考訳（メタデータ） (2020-10-15T15:17:21Z)
• How Neural Networks Extrapolate: From Feedforward to Graph Neural Networks [80.55378250013496]
  勾配勾配降下法によりトレーニングされたニューラルネットワークが、トレーニング分布の支持の外で学んだことを外挿する方法について検討する。 グラフニューラルネットワーク(GNN)は、より複雑なタスクでいくつかの成功を収めている。
  論文  参考訳（メタデータ） (2020-09-24T17:48:59Z)
• Entropy-Based Modeling for Estimating Soft Errors Impact on Binarized Neural Network Inference [2.249916681499244]
  本稿では,SEU(Single-event upset)とMBU(Multi-bit upset)の影響を階層間および選択した畳み込みニューラルネットワークの各層で明らかにする比較的正確な統計モデルを提案する。 これらのモデルは、安全クリティカルなアプリケーションで採用する前に、NNトポロジのエラー-レジリエンスのマグニチュードを評価するために使用できる。
  論文  参考訳（メタデータ） (2020-04-10T16:10:24Z)
• Phase Detection with Neural Networks: Interpreting the Black Box [58.720142291102135]
  ニューラルネットワーク(NN)は通常、予測の背後にある推論に対する洞察を妨げます。 本研究では,1次元拡張スピンレスFermi-Hubbardモデルの位相を半充足で予測するために,NNのブラックボックスをいかに影響関数が解き放つかを示す。
  論文  参考訳（メタデータ） (2020-04-09T17:45:45Z)
• Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks [9.23835409289015]
  本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。 非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
  論文  参考訳（メタデータ） (2019-01-19T13:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。