論文の概要: Neural Networks Fail to Learn Periodic Functions and How to Fix It

• arxiv url: http://arxiv.org/abs/2006.08195v2
• Date: Sun, 25 Oct 2020 01:57:51 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-21 02:58:05.701247
• Title: Neural Networks Fail to Learn Periodic Functions and How to Fix It
• Title（参考訳）: ニューラルネットワークは周期関数の学習に失敗し、その修正方法
• Authors: Liu Ziyin, Tilman Hartwig, Masahito Ueda
• Abstract要約: 本稿では,ReLU, tanh, sigmoidなどの標準活性化関数が単純な周期関数の外挿を学ばないことを示す。 我々は、周期関数を学ぶために所望の周期的帰納バイアスを達成する新しいアクティベーションである$x + sin2(x)$を提案する。 実験により,提案手法を温度・財務データ予測に適用した。
• 参考スコア（独自算出の注目度）: 6.230751621285322
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous literature offers limited clues on how to learn a periodic function using modern neural networks. We start with a study of the extrapolation properties of neural networks; we prove and demonstrate experimentally that the standard activations functions, such as ReLU, tanh, sigmoid, along with their variants, all fail to learn to extrapolate simple periodic functions. We hypothesize that this is due to their lack of a "periodic" inductive bias. As a fix of this problem, we propose a new activation, namely, $x + \sin^2(x)$, which achieves the desired periodic inductive bias to learn a periodic function while maintaining a favorable optimization property of the ReLU-based activations. Experimentally, we apply the proposed method to temperature and financial data prediction.
• Abstract（参考訳）: 以前の文献では、現代のニューラルネットワークを用いた周期関数の学習方法に関する限られた手がかりを提供している。 まず、ニューラルネットワークの補間特性の研究から始め、relu、tanh、sgmoidなどの標準的な活性化関数とそれらの変種が、単純な周期関数を補間することを学ぶことができないことを実験的に証明し、実証する。 これは「周期的」帰納バイアスの欠如によるものであると仮定する。 この問題を解決するため,本研究では,reluベースのアクティベーションの最適化性を維持しつつ周期関数を学習するための周期的帰納的バイアスを達成するために,新たなアクティベーションである$x + \sin^2(x)$を提案する。 実験により,提案手法を温度・財務データ予測に適用した。

関連論文リスト

• Frequency and Generalisation of Periodic Activation Functions in Reinforcement Learning [9.6812227037557]
  周期的なアクティベーションは低周波表現を学習し、その結果、ブートストラップされたターゲットへの過度な適合を避けることが示される。 また、重み減衰正則化は周期的活性化関数のオーバーフィットを部分的に相殺できることを示す。
  論文  参考訳（メタデータ） (2024-07-09T11:07:41Z)
• Benign Overfitting in Deep Neural Networks under Lazy Training [72.28294823115502]
  データ分布が適切に分離された場合、DNNは分類のためのベイズ最適テスト誤差を達成できることを示す。 よりスムーズな関数との補間により、より一般化できることを示す。
  論文  参考訳（メタデータ） (2023-05-30T19:37:44Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Periodic Extrapolative Generalisation in Neural Networks [10.482805367361818]
  周期的な信号に対する外挿的一般化の問題を定式化する。 本稿では,古典的,人口ベース,最近提案された周期的アーキテクチャの一般化能力について検討する。 周期的および「スネーク」活性化関数は周期的外挿で一貫して失敗する。
  論文  参考訳（メタデータ） (2022-09-21T11:47:30Z)
• On the Activation Function Dependence of the Spectral Bias of Neural Networks [0.0]
  ニューラルネットワークのスペクトルバイアスの観点から,この現象を考察する。 本稿では,ReLUニューラルネットワークのスペクトルバイアスを有限要素法との接続を利用して理論的に説明する。 我々は,Hatアクティベーション機能を持つニューラルネットワークが勾配降下とADAMを用いて大幅に高速にトレーニングされていることを示す。
  論文  参考訳（メタデータ） (2022-08-09T17:40:57Z)
• Exploring Linear Feature Disentanglement For Neural Networks [63.20827189693117]
  Sigmoid、ReLU、Tanhなどの非線形活性化関数は、ニューラルネットワーク(NN)において大きな成功を収めた。 サンプルの複雑な非線形特性のため、これらの活性化関数の目的は、元の特徴空間から線形分離可能な特徴空間へサンプルを投影することである。 この現象は、現在の典型的なNNにおいて、すべての特徴がすべての非線形関数によって変換される必要があるかどうかを探求することに興味をそそる。
  論文  参考訳（メタデータ） (2022-03-22T13:09:17Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Periodic Activation Functions Induce Stationarity [19.689175123261613]
  本研究では,ベイズニューラルネットワークにおける周期的活性化関数が,ネットワーク重みと翻訳不変な定常ガウス過程とを関連づけていることを示す。 一連の実験において、周期的アクティベーション関数はドメイン内のデータに匹敵する性能を示し、ドメイン外検出のための深層ニューラルネットワークにおける摂動入力に対する感度を捉える。
  論文  参考訳（メタデータ） (2021-10-26T11:10:37Z)
• Learning a Single Neuron with Bias Using Gradient Descent [53.15475693468925]
  単一ニューロンをバイアス項で学習する基本的な問題について検討する。 これはバイアスのないケースとは大きく異なり、より難しい問題であることを示す。
  論文  参考訳（メタデータ） (2021-06-02T12:09:55Z)
• A Use of Even Activation Functions in Neural Networks [0.35172332086962865]
  本稿では,データ構造に関する既存の知識や仮説を統合するために,独自のアクティベーション関数を構築する方法を提案する。 完全に接続されたレイヤの1つで偶発的なアクティベーション関数を使用することで、ニューラルネットワークの性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-11-23T20:33:13Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。