論文の概要: An Upper Limit of Decaying Rate with Respect to Frequency in Deep Neural
Network
- arxiv url: http://arxiv.org/abs/2105.11675v1
- Date: Tue, 25 May 2021 05:27:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-26 13:41:28.305787
- Title: An Upper Limit of Decaying Rate with Respect to Frequency in Deep Neural
Network
- Title（参考訳）: 深部ニューラルネットワークにおける周波数を考慮した減衰速度の上限
- Authors: Tao Luo, Zheng Ma, Zhiwei Wang, Zhi-Qin John Xu, Yaoyu Zhang
- Abstract要約: ディープニューラルネットワーク(DNN)は通常、周波数原理またはスペクトルバイアスと呼ばれる低周波数から高周波数のターゲット関数を学習する。
この周波数原理は、DNNの高周波の呪いに光を当てます。
- 参考スコア（独自算出の注目度）: 7.456846081669551
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Deep neural network (DNN) usually learns the target function from low to high
frequency, which is called frequency principle or spectral bias. This frequency
principle sheds light on a high-frequency curse of DNNs -- difficult to learn
high-frequency information. Inspired by the frequency principle, a series of
works are devoted to develop algorithms for overcoming the high-frequency
curse. A natural question arises: what is the upper limit of the decaying rate
w.r.t. frequency when one trains a DNN? In this work, our theory, confirmed by
numerical experiments, suggests that there is a critical decaying rate w.r.t.
frequency in DNN training. Below the upper limit of the decaying rate, the DNN
interpolates the training data by a function with a certain regularity.
However, above the upper limit, the DNN interpolates the training data by a
trivial function, i.e., a function is only non-zero at training data points.
Our results indicate a better way to overcome the high-frequency curse is to
design a proper pre-condition approach to shift high-frequency information to
low-frequency one, which coincides with several previous developed algorithms
for fast learning high-frequency information. More importantly, this work
rigorously proves that the high-frequency curse is an intrinsic difficulty of
DNNs.
- Abstract（参考訳）: ディープニューラルネットワーク(dnn)は通常、周波数原理またはスペクトルバイアスと呼ばれる低周波から高周波までターゲット関数を学習する。
この周波数原理は、DNNの高周波の呪いに光を当てます。
周波数原理にインスパイアされた一連の研究は、高周波の呪いを克服するアルゴリズムの開発に費やされている。
自然問題:崩壊率 w.r.t の上限は何か。
DNNを訓練する頻度?
この研究で、数値実験によって確認された我々の理論は、臨界崩壊速度 w.r.t が存在することを示唆している。
DNNトレーニングの頻度。
減衰率の上限の下に、DNNは一定の規則性を持つ関数でトレーニングデータを補間する。
しかし、上限を超えると、DNNは訓練データを自明な関数で補間する、すなわち、ある関数は訓練データポイントにおいてゼロではない。
以上の結果から,高周波情報を低周波に移すための適切な事前条件手法を考案し,先行開発した高周波情報を高速に学習するためのアルゴリズムと合致することを示す。
さらに、この研究は、高周波の呪いがDNNの本質的な難しさであることを厳格に証明している。
関連論文リスト
- Frequency-Aware Deepfake Detection: Improving Generalizability through
Frequency Space Learning [81.98675881423131]
この研究は、目に見えないディープフェイク画像を効果的に識別できるユニバーサルディープフェイク検出器を開発するという課題に対処する。
既存の周波数ベースのパラダイムは、偽造検出のためにGANパイプラインのアップサンプリング中に導入された周波数レベルのアーティファクトに依存している。
本稿では、周波数領域学習を中心にしたFreqNetと呼ばれる新しい周波数認識手法を導入し、ディープフェイク検出器の一般化性を高めることを目的とする。
論文 参考訳（メタデータ） (2024-03-12T01:28:00Z) - Sparse-firing regularization methods for spiking neural networks with
time-to-first spike coding [2.5234156040689237]
本稿では,2つのスパイクタイミングに基づくスパースファイリング(SSR)正規化手法を提案する。
これらの正則化法がMNIST, Fashion-MNIST, CIFAR-10データセットに与える影響を調べた。
論文 参考訳（メタデータ） (2023-07-24T11:55:49Z) - A Scalable Walsh-Hadamard Regularizer to Overcome the Low-degree
Spectral Bias of Neural Networks [79.28094304325116]
任意の関数を学習するニューラルネットワークの能力にもかかわらず、勾配降下によって訓練されたモデルは、しばしばより単純な関数に対するバイアスを示す。
我々は、この低度周波数に対するスペクトルバイアスが、現実のデータセットにおけるニューラルネットワークの一般化を実際にいかに損なうかを示す。
本稿では,ニューラルネットワークによる高次周波数学習を支援する,スケーラブルな機能正規化手法を提案する。
論文 参考訳（メタデータ） (2023-05-16T20:06:01Z) - Harnessing Low-Frequency Neural Fields for Few-Shot View Synthesis [82.31272171857623]
オーバフィッティングから高周波数のニューラルフィールドを規則化するために、低周波ニューラルフィールドを利用する。
数発の入力に過度に適合しないよう、周波数を調整するための簡単なyet- Effective戦略を提案する。
論文 参考訳（メタデータ） (2023-03-15T05:15:21Z) - Incremental Spatial and Spectral Learning of Neural Operators for
Solving Large-Scale PDEs [86.35471039808023]
Incrmental Fourier Neural Operator (iFNO)を導入し、モデルが使用する周波数モードの数を徐々に増加させる。
iFNOは、各種データセット間の一般化性能を維持したり改善したりしながら、トレーニング時間を短縮する。
提案手法は,既存のフーリエニューラル演算子に比べて20%少ない周波数モードを用いて,10%低いテスト誤差を示すとともに,30%高速なトレーニングを実現する。
論文 参考訳（メタデータ） (2022-11-28T09:57:15Z) - NAF: Neural Attenuation Fields for Sparse-View CBCT Reconstruction [79.13750275141139]
本稿では,スパースビューCBCT再構成のための新規かつ高速な自己教師型ソリューションを提案する。
所望の減衰係数は、3次元空間座標の連続関数として表現され、完全に接続されたディープニューラルネットワークによってパラメータ化される。
ハッシュ符号化を含む学習ベースのエンコーダが採用され、ネットワークが高周波の詳細をキャプチャするのに役立つ。
論文 参考訳（メタデータ） (2022-09-29T04:06:00Z) - Overview frequency principle/spectral bias in deep learning [8.78791231619729]
深層ニューラルネットワーク(DNN)の学習行動の周波数原理(F-Principle)を示す。
F-原則は1次元の合成データによって最初に実証され、続いて高次元の実データセットで検証される。
この低周波バイアスは、低周波関数の学習におけるニューラルネットワークの強みと、高周波関数の学習におけるその欠如を明らかにする。
論文 参考訳（メタデータ） (2022-01-19T03:08:33Z) - PINNup: Robust neural network wavefield solutions using frequency
upscaling and neuron splitting [0.0]
本稿では,周波数アップスケーリングとニューロン分割を用いた新しいPINNの実装を提案する。
提案したPINNは収束と精度において顕著な優位性を示す。
2層モデルでニューロンベースの高周波波動場解が得られる。
論文 参考訳（メタデータ） (2021-09-29T16:35:50Z) - Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。
いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
論文 参考訳（メタデータ） (2021-03-01T08:25:26Z) - Frequency Gating: Improved Convolutional Neural Networks for Speech
Enhancement in the Time-Frequency Domain [37.722450363816144]
本稿では、CNNのカーネルの乗算重みを計算するために、周波数ゲーティングと呼ばれる手法を提案する。
スキップ接続を用いたオートエンコーダニューラルネットワークの実験では、局所的および周波数的にゲーティングの両方がベースラインを上回っている。
拡張短時間客観的インテリジェンススコア(ESTOI)に基づく損失関数を導入し、標準平均二乗誤差(MSE)損失関数より優れていることを示す。
論文 参考訳（メタデータ） (2020-11-08T22:04:00Z) - Frequency Principle: Fourier Analysis Sheds Light on Deep Neural Networks [9.23835409289015]
本稿では,フーリエ解析の観点から,ディープニューラルネットワーク(DNN)の学習過程について検討する。
非常に普遍的な周波数原理(F-Principle)を実証します -- DNNは低周波数から高周波数のターゲット関数によく適合します。
論文 参考訳（メタデータ） (2019-01-19T13:37:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。