論文の概要: A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data

• arxiv url: http://arxiv.org/abs/2205.14300v1
• Date: Sat, 28 May 2022 02:31:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-05 01:01:57.360264
• Title: A Quadrature Perspective on Frequency Bias in Neural Network Training with Nonuniform Data
• Title（参考訳）: 非均一データを用いたニューラルネットワーク学習における周波数バイアスの4次視点
• Authors: Annan Yu, Yunan Yang, Alex Townsend
• Abstract要約: 勾配に基づくアルゴリズムは、高周波残差を減らす前に低周波不適合を最小化する。 我々はニューラル・タンジェント・カーネル(NTK)を用いて、定値あるいは一点的な確率密度からデータを引き出す訓練において、理論的に厳密な分析を行う。
• 参考スコア（独自算出の注目度）: 1.7188280334580197
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Small generalization errors of over-parameterized neural networks (NNs) can be partially explained by the frequency biasing phenomenon, where gradient-based algorithms minimize the low-frequency misfit before reducing the high-frequency residuals. Using the Neural Tangent Kernel (NTK), one can provide a theoretically rigorous analysis for training where data are drawn from constant or piecewise-constant probability densities. Since most training data sets are not drawn from such distributions, we use the NTK model and a data-dependent quadrature rule to theoretically quantify the frequency biasing of NN training given fully nonuniform data. By replacing the loss function with a carefully selected Sobolev norm, we can further amplify, dampen, counterbalance, or reverse the intrinsic frequency biasing in NN training.
• Abstract（参考訳）: 過パラメータニューラルネットワーク(nns)の小さな一般化誤差は、勾配に基づくアルゴリズムが高周波残差を減らす前に低周波ミスフィットを最小限に抑える周波数バイアス現象によって部分的に説明することができる。 ニューラル・タンジェント・カーネル (NTK) を用いて、データは一定あるいは一点の確率密度から引き出される訓練のための理論的に厳密な分析を提供することができる。 ほとんどのトレーニングデータセットはそのような分布から引き出されていないので、NTKモデルとデータ依存の二次規則を用いて、完全に一様でないデータに与えられるNNトレーニングの周波数バイアスを理論的に定量化する。 損失関数を慎重に選択したソボレフノルムに置き換えることで、NNトレーニングにおける固有周波数バイアスをさらに増幅、減衰、逆バランス、あるいは逆転させることができる。

関連論文リスト

• Understanding the dynamics of the frequency bias in neural networks [0.0]
  近年の研究では、従来のニューラルネットワーク(NN)アーキテクチャは学習プロセスにおいて顕著な周波数バイアスを示すことが示されている。 2層NNの誤差の周波数ダイナミクスを明らかにする偏微分方程式(PDE)を開発した。 実験により、同じ原理が多層NNに拡張されていることを示す。
  論文  参考訳（メタデータ） (2024-05-23T18:09:16Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree Spectral Bias of Neural Networks [79.28094304325116]
  任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。 我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。 本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
  論文  参考訳（メタデータ） (2023-05-16T20:06:01Z)
• Neural Networks with Sparse Activation Induced by Large Bias: Tighter Analysis with Bias-Generalized NTK [86.45209429863858]
  ニューラル・タンジェント・カーネル(NTK)における一層ReLUネットワークのトレーニングについて検討した。 我々は、ニューラルネットワークが、テクティトビア一般化NTKと呼ばれる異なる制限カーネルを持っていることを示した。 ニューラルネットの様々な特性をこの新しいカーネルで研究する。
  論文  参考訳（メタデータ） (2023-01-01T02:11:39Z)
• Modeling Nonlinear Dynamics in Continuous Time with Inductive Biases on Decay Rates and/or Frequencies [37.795752939016225]
  本稿では, 連続時間における非線形力学のニューラルネットワークモデルを提案し, 減衰率と周波数に帰納バイアスを課すことができる。 ニューラルネットワークを用いて適切なクープマン空間を探索し、不規則にサンプリングされた時系列データを用いて、マルチステップ予測とバックキャストエラーを最小化することでトレーニングする。
  論文  参考訳（メタデータ） (2022-12-26T08:08:43Z)
• Learning Low Dimensional State Spaces with Overparameterized Recurrent Neural Nets [57.06026574261203]
  我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。 実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2022-10-25T14:45:15Z)
• On the exact computation of linear frequency principle dynamics and its generalization [6.380166265263755]
  近年の研究では、トレーニング中にターゲット関数を低周波数から高周波数に適合させる周波数原理(F-Principle)の興味深い現象が示されている。 本稿では、周波数領域におけるNN出力関数の進化を制御し、線形周波数原理(LFP)モデルという正確な微分方程式を導出する。
  論文  参考訳（メタデータ） (2020-10-15T15:17:21Z)
• Frequentist Uncertainty in Recurrent Neural Networks via Blockwise Influence Functions [121.10450359856242]
  リカレントニューラルネットワーク(RNN)は、シーケンシャルおよび時系列データのモデリングに有効である。 RNNにおける既存の不確実性定量化のアプローチは、主にベイズ法に基づいている。 a)モデルトレーニングに干渉せず、その精度を損なうことなく、(b)任意のRNNアーキテクチャに適用し、(c)推定不確かさ間隔に関する理論的カバレッジ保証を提供する。
  論文  参考訳（メタデータ） (2020-06-20T22:45:32Z)
• A Generalized Neural Tangent Kernel Analysis for Two-layer Neural Networks [87.23360438947114]
  重み劣化を伴う雑音勾配降下は依然として「カーネル様」の挙動を示すことを示す。 これは、トレーニング損失が一定の精度まで線形に収束することを意味する。 また,重み劣化を伴う雑音勾配勾配勾配で学習した2層ニューラルネットワークに対して,新しい一般化誤差を確立する。
  論文  参考訳（メタデータ） (2020-02-10T18:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。