論文の概要: FAN: Fourier Analysis Networks

• arxiv url: http://arxiv.org/abs/2410.02675v2
• Date: Sat, 09 Nov 2024 19:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-12 14:06:22.130239
• Title: FAN: Fourier Analysis Networks
• Title（参考訳）: FAN: フーリエ分析ネットワーク
• Authors: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jing Su, Jun Zhang, Jingjing Xu,
• Abstract要約: 本稿では、周期現象を効率的にモデル化し、推論する能力を高めるFANを提案する。 本研究では, 周期関数のモデル化と推論におけるFANの有効性と, 実世界のタスクにおけるFANの優位性と一般化性を示す。
• 参考スコア（独自算出の注目度）: 47.08787684221114
• License:
• Abstract: Despite the remarkable success achieved by neural networks, particularly those represented by MLP and Transformer, we reveal that they exhibit potential flaws in the modeling and reasoning of periodicity, i.e., they tend to memorize the periodic data rather than genuinely understanding the underlying principles of periodicity. However, periodicity is a crucial trait in various forms of reasoning and generalization, underpinning predictability across natural and engineered systems through recurring patterns in observations. In this paper, we propose FAN, a novel network architecture based on Fourier Analysis, which empowers the ability to efficiently model and reason about periodic phenomena. By introducing Fourier Series, the periodicity is naturally integrated into the structure and computational processes of the neural network, thus achieving a more accurate expression and prediction of periodic patterns. As a promising substitute to multi-layer perceptron (MLP), FAN can seamlessly replace MLP in various models with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the effectiveness of FAN in modeling and reasoning about periodic functions, and the superiority and generalizability of FAN across a range of real-world tasks, including symbolic formula representation, time series forecasting, and language modeling.
• Abstract（参考訳）: ニューラルネットワーク、特にMLPやTransformerで表されるような顕著な成功にもかかわらず、周期性のモデリングと推論に潜在的な欠陥があること、すなわち、周期性の原理を真に理解するのではなく、周期データを記憶する傾向があることを明らかにする。 しかし、周期性は様々な推論や一般化において重要な特徴であり、観測の繰り返しパターンを通して自然および工学系の予測可能性を支える。 本稿では,FAN(Fourier Analysis)をベースとした新しいネットワークアーキテクチャを提案する。 フーリエ級数を導入することにより、周期性はニューラルネットワークの構造と計算過程に自然に統合され、より正確な周期パターンの表現と予測が達成される。 多層パーセプトロン(MLP)の代替として、FANはパラメータやFLOPが少なくてシームレスにMLPを置き換えることができる。 本研究では, 周期関数のモデル化と推論におけるFANの有効性と, 記号式表現, 時系列予測, 言語モデリングなど, 実世界のタスクにおけるFANの優位性と一般化性を示す。

関連論文リスト

• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• How Expressive are Spectral-Temporal Graph Neural Networks for Time Series Forecasting? [46.95117922583253]
  我々は、スペクトル時間GNNの表現力を高める理論的枠組みを確立する。 その結果,線形スペクトル時間GNNは軽度仮定の下で普遍的であることがわかった。 本稿では,TGC(Temporal Graph GegenConv)というシンプルなインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:56:38Z)
• A Survey on Deep Learning based Time Series Analysis with Frequency Transformation [74.3919960186696]
  周波数変換(FT)は、時系列解析における最先端の精度と効率を高めるために、ディープラーニングモデルにますます取り入れられている。 この新興分野における注目の高まりと研究の高まりにもかかわらず、現在、FTを用いたディープラーニングベースの時系列モデルの体系的レビューと詳細な分析が欠如している。 本稿では,FTを用いた深層学習に基づく時系列解析における最近の研究成果を体系的に研究し,要約する総合的なレビューを紹介する。
  論文  参考訳（メタデータ） (2023-02-04T14:33:07Z)
• Dynamics of Fourier Modes in Torus Generative Adversarial Networks [0.8189696720657245]
  GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。 彼らの成功にもかかわらず、GANのトレーニングプロセスは非常に不安定であり、典型的には、モデルの許容できる収束に達するために、ネットワークにいくつかのアクセサリー摂動を実装する必要がある。 本稿では,ジェネレーティブ・アドバイサル・ネットワークのトレーニングにおける収束と安定性を解析するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T09:03:22Z)
• Bayesian Inference of Stochastic Dynamical Networks [0.0]
  本稿では,ネットワークトポロジと内部ダイナミクスを学習するための新しい手法を提案する。 グループスパースベイズ学習(GSBL)、BINGO、カーネルベースの方法、dynGENIE3、genIE3、ARNIと比較される。 本手法は,グループスパースベイズ学習 (GSBL), BINGO, kernel-based method, dynGENIE3, GENIE3, ARNI と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T03:22:34Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)
• Fourier Neural Networks as Function Approximators and Differential Equation Solvers [0.456877715768796]
  活性化と損失関数の選択は、フーリエ級数展開を密接に再現する結果をもたらす。 我々はこのFNNを自然周期的滑らかな関数と断片的連続周期関数で検証する。 現在のアプローチの主な利点は、トレーニング領域外のソリューションの有効性、トレーニングされたモデルの解釈可能性、使用の単純さである。
  論文  参考訳（メタデータ） (2020-05-27T00:30:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。