論文の概要: How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal

• arxiv url: http://arxiv.org/abs/2512.14873v1
• Date: Tue, 16 Dec 2025 19:36:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-18 17:06:26.770821
• Title: How Does Fourier Analysis Network Work? A Mechanism Analysis and a New Dual-Activation Layer Proposal
• Title（参考訳）: フーリエ解析ネットワークはどのように機能するか? : メカニズム解析と新しいデュアルアクティブ層の提案
• Authors: Sam Jeong, Hae Yong Kim,
• Abstract要約: 以上の結果より,コサイン活性化は効果に有意な寄与を示す一方,コサイン活性化は有害である傾向が示唆された。 FANは、神経細胞が負の入力を一貫して受け取り、勾配をゼロにし、学習を停止する死のReLU問題を主に緩和する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fourier Analysis Network (FAN) was recently proposed as a simple way to improve neural network performance by replacing part of ReLU activations with sine and cosine functions. Although several studies have reported small but consistent gains across tasks, the underlying mechanism behind these improvements has remained unclear. In this work, we show that only the sine activation contributes positively to performance, whereas the cosine activation tends to be detrimental. Our analysis reveals that the improvement is not a consequence of the sine function's periodic nature; instead, it stems from the function's local behavior near x = 0, where its non-zero derivative mitigates the vanishing-gradient problem. We further show that FAN primarily alleviates the dying-ReLU problem, in which a neuron consistently receives negative inputs, produces zero gradients, and stops learning. Although modern ReLU-like activations, such as Leaky ReLU, GELU, and Swish, reduce ReLU's zero-gradient region, they still contain input domains where gradients remain significantly diminished, contributing to slower optimization and hindering rapid convergence. FAN addresses this limitation by introducing a more stable gradient pathway. This analysis shifts the understanding of FAN's benefits from a spectral interpretation to a concrete analysis of training dynamics, leading to the development of the Dual-Activation Layer (DAL), a more efficient convergence accelerator. We evaluate DAL on three tasks: classification of noisy sinusoidal signals versus pure noise, MNIST digit classification, and ECG-based biometric recognition. In all cases, DAL models converge faster and achieve equal or higher validation accuracy compared to models with conventional activations.
• Abstract（参考訳）: FAN(Fourier Analysis Network)は、最近、ReLUアクティベーションの一部を正弦関数とコサイン関数に置き換えることで、ニューラルネットワークのパフォーマンスを改善するための簡単な方法として提案されている。 いくつかの研究では、タスク間で小さなが一貫した利得が報告されているが、これらの改善の背後にあるメカニズムはいまだ不明である。 本研究では,コサインの活性化は効果に寄与するが,コサインの活性化は有害である傾向にあることを示す。 解析の結果、改善は正弦関数の周期的な性質の結果ではなく、その代わりに、その非ゼロ微分が消滅段階の問題を緩和する x = 0 付近の関数の局所的な挙動に由来することが判明した。 さらに、FANは、ニューロンが負の入力を一貫して受け取り、勾配をゼロにし、学習を停止するという、死とReLUの問題を主に緩和することを示した。 Leaky ReLU、GELU、Swishなどの現代のReLUのような活性化は、ReLUのゼロ階調領域を減少させるが、勾配が著しく減少し、最適化が遅くなり、急速な収束を妨げる。 FANは、より安定した勾配経路を導入することで、この制限に対処する。 この分析は、FANの利点の理解をスペクトル解釈から、より効率的な収束加速器であるDual-Activation Layer(DAL)の開発へとシフトさせる。 DALは,雑音の正弦波信号と純雑音の分類,MNIST桁の分類,ECGに基づく生体認証の3つのタスクで評価する。 いずれの場合も、DALモデルはより早く収束し、従来のアクティベーションを持つモデルと比較して同等または高い検証精度を達成する。

関連論文リスト

• Gradient Descent as a Perceptron Algorithm: Understanding Dynamics and Implicit Acceleration [67.12978375116599]
  勾配降下(GD)のステップが一般化されたパーセプトロンアルゴリズムのステップに還元されることを示す。 これは、ニューラルネットワークで観測される最適化力学と暗黙の加速現象を説明するのに役立つ。
  論文  参考訳（メタデータ） (2025-12-12T14:16:35Z)
• A Framework for Provably Stable and Consistent Training of Deep Feedforward Networks [4.21061712600981]
  本稿では、教師付き(分類と回帰)および教師なし(強化学習)シナリオにおいて、ディープニューラルネットワークを訓練するための新しいアルゴリズムを提案する。 このアルゴリズムは、標準降下勾配と勾配クリッピング法を組み合わせたものである。 理論的および実験を通して、我々のアルゴリズム更新はばらつきが低く、トレーニング損失はスムーズな方法で減少することを示す。
  論文  参考訳（メタデータ） (2023-05-20T07:18:06Z)
• TaLU: A Hybrid Activation Function Combining Tanh and Rectified Linear Unit to Enhance Neural Networks [1.3477333339913569]
  TaLUはTanhとReLUを組み合わせた活性化機能である。 MNIST と CIFAR-10 の深層学習モデルについて検討した。
  論文  参考訳（メタデータ） (2023-05-08T01:13:59Z)
• Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
  しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。 ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
  論文  参考訳（メタデータ） (2023-03-06T18:59:13Z)
• Implicit Stochastic Gradient Descent for Training Physics-informed Neural Networks [51.92362217307946]
  物理インフォームドニューラルネットワーク(PINN)は、前方および逆微分方程式問題の解法として効果的に実証されている。 PINNは、近似すべきターゲット関数が高周波またはマルチスケールの特徴を示す場合、トレーニング障害に閉じ込められる。 本稿では,暗黙的勾配降下法(ISGD)を用いてPINNを訓練し,トレーニングプロセスの安定性を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-03-03T08:17:47Z)
• Wasserstein Flow Meets Replicator Dynamics: A Mean-Field Analysis of Representation Learning in Actor-Critic [137.04558017227583]
  ニューラルネットワークによって強化されたアクター・クリティカル(AC)アルゴリズムは、近年、かなりの成功を収めている。 我々は,特徴量に基づくニューラルACの進化と収束について,平均場の観点から考察する。 神経性交流は,大域的最適政策をサブ線形速度で求める。
  論文  参考訳（メタデータ） (2021-12-27T06:09:50Z)
• Growing Cosine Unit: A Novel Oscillatory Activation Function That Can Speedup Training and Reduce Parameters in Convolutional Neural Networks [0.1529342790344802]
  畳み込みニューラルネットワークは多くの社会的に重要で経済的に重要な問題を解くことに成功した。 ディープネットワークのトレーニングを可能にする重要な発見は、Rectified Linear Unit (ReLU) アクティベーション機能の採用であった。 新しい活性化関数 C(z) = z cos z は様々なアーキテクチャ上で Sigmoids, Swish, Mish, ReLU より優れる。
  論文  参考訳（メタデータ） (2021-08-30T01:07:05Z)
• Learning Frequency Domain Approximation for Binary Neural Networks [68.79904499480025]
  フーリエ周波数領域における符号関数の勾配を正弦関数の組み合わせを用いて推定し,BNNの訓練を行う。 いくつかのベンチマークデータセットとニューラルネットワークの実験により、この手法で学習したバイナリネットワークが最先端の精度を達成することが示されている。
  論文  参考訳（メタデータ） (2021-03-01T08:25:26Z)
• Soft-Root-Sign Activation Function [21.716884634290516]
  SRS(Soft-Root-Sign)は滑らかで、非単調で有界である。 ReLUとは対照的に、SRSは独立したトレーニング可能なパラメータのペアによって出力を適応的に調整することができる。 我々のSRSはReLUや他の最先端の非線形性と一致または超えます。
  論文  参考訳（メタデータ） (2020-03-01T18:38:11Z)
• Investigating the interaction between gradient-only line searches and different activation functions [0.0]
  勾配専用線探索(GOLS)は、ニューラルネットワークトレーニングにおける不連続損失関数の探索方向に沿ったステップサイズを適応的に決定する。 GOLSは様々なアクティベーション機能に対して堅牢であるが,標準フィードフォワードアーキテクチャにおけるRectified Linear Unit(ReLU)アクティベーション機能に敏感であることがわかった。
  論文  参考訳（メタデータ） (2020-02-23T12:28:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。