論文の概要: Understanding the dynamics of the frequency bias in neural networks

• arxiv url: http://arxiv.org/abs/2405.14957v1
• Date: Thu, 23 May 2024 18:09:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 19:27:22.087232
• Title: Understanding the dynamics of the frequency bias in neural networks
• Title（参考訳）: ニューラルネットワークにおける周波数バイアスのダイナミクスの理解
• Authors: Juan Molina, Mircea Petrache, Francisco Sahli Costabal, Matías Courdurier,
• Abstract要約: 近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works have shown that traditional Neural Network (NN) architectures display a marked frequency bias in the learning process. Namely, the NN first learns the low-frequency features before learning the high-frequency ones. In this study, we rigorously develop a partial differential equation (PDE) that unravels the frequency dynamics of the error for a 2-layer NN in the Neural Tangent Kernel regime. Furthermore, using this insight, we explicitly demonstrate how an appropriate choice of distributions for the initialization weights can eliminate or control the frequency bias. We focus our study on the Fourier Features model, an NN where the first layer has sine and cosine activation functions, with frequencies sampled from a prescribed distribution. In this setup, we experimentally validate our theoretical results and compare the NN dynamics to the solution of the PDE using the finite element method. Finally, we empirically show that the same principle extends to multi-layer NNs.
• Abstract（参考訳）: 近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 つまり、NNはまず、高周波の特徴を学ぶ前に、低周波の特徴を学習する。 本研究では,ニューラル・タンジェント・カーネル・システムにおける2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を厳格に開発する。 さらに, この知見を用いて, 初期化重みに対する分布の適切な選択が, 周波数バイアスを除去あるいは制御する方法を明確に示す。 本研究は,第1層が正弦および正弦の活性化機能を持つNNであるフーリエ特徴モデルに着目し,所定の分布から周波数をサンプリングする。 本稿では,この理論結果を実験的に検証し,有限要素法を用いてNN力学をPDEの解と比較する。 最後に、同じ原理が多層NNにまで拡張されていることを実証的に示す。

関連論文リスト

• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Investigations on convergence behaviour of Physics Informed Neural Networks across spectral ranges and derivative orders [0.0]
  ニューラルカーネル・タンジェント(NTK)理論からの重要な推論は、スペクトルバイアス(SB)の存在である。 SBは、完全に接続されたニューラルネットワーク(ANN)のターゲット関数の低周波成分であり、トレーニング中の高周波よりもかなり高速に学習される。 これは、非常に低い学習率パラメータを持つ平均平方誤差(MSE)損失関数に対して確立される。 正規化条件下では、PINNは強いスペクトルバイアスを示し、これは微分方程式の順序によって増加することが確証されている。
  論文  参考訳（メタデータ） (2023-01-07T06:31:28Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Momentum Diminishes the Effect of Spectral Bias in Physics-Informed Neural Networks [72.09574528342732]
  物理インフォームドニューラルネットワーク(PINN)アルゴリズムは、偏微分方程式(PDE)を含む幅広い問題を解く上で有望な結果を示している。 彼らはしばしば、スペクトルバイアスと呼ばれる現象のために、ターゲット関数が高周波の特徴を含むとき、望ましい解に収束しない。 本研究は, 運動量による勾配降下下で進化するPINNのトレーニングダイナミクスを, NTK(Neural Tangent kernel)を用いて研究するものである。
  論文  参考訳（メタデータ） (2022-06-29T19:03:10Z)
• A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data [1.7188280334580197]
  勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。 我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
  論文  参考訳（メタデータ） (2022-05-28T02:31:19Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Linear Frequency Principle Model to Understand the Absence of Overfitting in Neural Networks [4.86119220344659]
  ターゲット関数の低周波支配が,NNの非オーバーフィッティングの鍵となる条件であることを示す。 理想の2層NNを用いて,定量的な予測力を持つLFPモデルが統計的にいかに詳細なNNトレーニングのダイナミックスをもたらすかを明らかにする。
  論文  参考訳（メタデータ） (2021-01-30T10:11:37Z)
• On the exact computation of linear frequency principle dynamics and its generalization [6.380166265263755]
  近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。 本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
  論文  参考訳（メタデータ） (2020-10-15T15:17:21Z)
• Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks [9.23835409289015]
  本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。 非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
  論文  参考訳（メタデータ） (2019-01-19T13:37:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。