論文の概要: FAN: Fourier Analysis Networks

• arxiv url: http://arxiv.org/abs/2410.02675v3
• Date: Fri, 31 Jan 2025 17:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:50:17.476824
• Title: FAN: Fourier Analysis Networks
• Title（参考訳）: FAN: フーリエ分析ネットワーク
• Authors: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jinliang Deng, Jing Su, Jun Zhang, Jingjing Xu,
• Abstract要約: 我々は、幅広い適用性を提供し、周期性モデリングの課題に対処する、新しい汎用ニューラルネットワークであるFANを提案する。 本研究では、周期性モデリングタスクにおけるFANの優位性と、実世界のタスクにおけるFANの有効性と一般化性を示す。
• 参考スコア（独自算出の注目度）: 46.19371193989157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite the remarkable successes of general-purpose neural networks, such as MLPs and Transformers, we find that they exhibit notable shortcomings in modeling and reasoning about periodic phenomena, achieving only marginal performance within the training domain and failing to generalize effectively to out-of-domain (OOD) scenarios. Periodicity is ubiquitous throughout nature and science. Therefore, neural networks should be equipped with the essential ability to model and handle periodicity. In this work, we propose FAN, a novel general-purpose neural network that offers broad applicability similar to MLP while effectively addressing periodicity modeling challenges. Periodicity is naturally integrated into FAN's structure and computational processes by introducing the Fourier Principle. Unlike existing Fourier-based networks, which possess particular periodicity modeling abilities but are typically designed for specific tasks, our approach maintains the general-purpose modeling capability. Therefore, FAN can seamlessly replace MLP in various model architectures with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the superiority of FAN in periodicity modeling tasks and the effectiveness and generalizability of FAN across a range of real-world tasks, e.g., symbolic formula representation, time series forecasting, language modeling, and image recognition.
• Abstract（参考訳）: MLPやTransformersのような汎用ニューラルネットワークの顕著な成功にもかかわらず、モデリングや周期的な現象の推論において顕著な欠点があり、トレーニング領域内での限界性能のみが達成され、ドメイン外(OOD)シナリオに効果的に一般化できないことが判明した。 周期性は自然と科学の至るところに分布する。 したがって、ニューラルネットワークは周期性のモデル化と処理に不可欠な能力を備えるべきである。 本研究では、周期性モデリングの課題を効果的に解決しつつ、MLPに類似した幅広い適用性を提供する、新しい汎用ニューラルネットワークであるFANを提案する。 周期性は、フーリエ原理を導入することにより、FANの構造と計算プロセスに自然に統合される。 特定の周期性モデリング能力を持つ既存のFourierベースのネットワークとは違い,本手法は汎用モデリング能力を維持している。 したがって、FANは様々なモデルアーキテクチャにおけるMLPを少ないパラメータとFLOPでシームレスに置き換えることができる。 本研究では,周期性モデリングタスクにおけるFANの優位性と実世界のタスク,例えば記号式表現,時系列予測,言語モデリング,画像認識におけるFANの有効性と一般化性を示す。

関連論文リスト

• LIFT: Latent Implicit Functions for Task- and Data-Agnostic Encoding [4.759109475818876]
  Implicit Neural Representations (INR)は、多様なデータドメインをまたいだタスクモデリングを統合するための強力なパラダイムであることが証明されている。 本稿では,メタラーニングによるマルチスケール情報をキャプチャする新しい高性能フレームワークLIFTを紹介する。 また、残差接続と表現頻度符号化を組み込んだLIFTの強化版であるReLIFTについても紹介する。
  論文  参考訳（メタデータ） (2025-03-19T17:00:58Z)
• FANformer: Improving Large Language Models Through Effective Periodicity Modeling [30.84203256282429]
  本稿ではFANformerを紹介し,Fourier Analysis Network(FAN)をアテンション機構に統合し,効率的な周期性モデリングを実現する。 FANformerはモデルサイズのスケールアップやトークンのトレーニングにおいて,Transformerよりも一貫してパフォーマンスが向上している。 FANformerの有効性をさらに検証するため、FANformer-1Bを1兆個のトークンで事前訓練する。
  論文  参考訳（メタデータ） (2025-02-28T18:52:24Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• Frequency-domain MLPs are More Effective Learners in Time Series Forecasting [67.60443290781988]
  時系列予測は、金融、交通、エネルギー、医療など、さまざまな産業領域において重要な役割を果たしてきた。 最多ベースの予測手法は、ポイントワイドマッピングと情報のボトルネックに悩まされる。 本稿では、時系列予測のための周波数領域上に構築された、シンプルで効果的なアーキテクチャであるFreTSを提案する。
  論文  参考訳（メタデータ） (2023-11-10T17:05:13Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• How Expressive are Spectral-Temporal Graph Neural Networks for Time Series Forecasting? [46.95117922583253]
  我々は、スペクトル時間GNNの表現力を高める理論的枠組みを確立する。 その結果,線形スペクトル時間GNNは軽度仮定の下で普遍的であることがわかった。 本稿では,TGC(Temporal Graph GegenConv)というシンプルなインスタンス化を提案する。
  論文  参考訳（メタデータ） (2023-05-11T05:56:38Z)
• A Survey on Deep Learning based Time Series Analysis with Frequency Transformation [74.3919960186696]
  周波数変換(FT)は、時系列解析における最先端の精度と効率を高めるために、ディープラーニングモデルにますます取り入れられている。 この新興分野における注目の高まりと研究の高まりにもかかわらず、現在、FTを用いたディープラーニングベースの時系列モデルの体系的レビューと詳細な分析が欠如している。 本稿では,FTを用いた深層学習に基づく時系列解析における最近の研究成果を体系的に研究し,要約する総合的なレビューを紹介する。
  論文  参考訳（メタデータ） (2023-02-04T14:33:07Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Dynamics of Fourier Modes in Torus Generative Adversarial Networks [0.8189696720657245]
  GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。 彼らの成功にもかかわらず、GANのトレーニングプロセスは非常に不安定であり、典型的には、モデルの許容できる収束に達するために、ネットワークにいくつかのアクセサリー摂動を実装する必要がある。 本稿では,ジェネレーティブ・アドバイサル・ネットワークのトレーニングにおける収束と安定性を解析するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T09:03:22Z)
• Bayesian Inference of Stochastic Dynamical Networks [0.0]
  本稿では,ネットワークトポロジと内部ダイナミクスを学習するための新しい手法を提案する。 グループスパースベイズ学習(GSBL)、BINGO、カーネルベースの方法、dynGENIE3、genIE3、ARNIと比較される。 本手法は,グループスパースベイズ学習 (GSBL), BINGO, kernel-based method, dynGENIE3, GENIE3, ARNI と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-06-02T03:22:34Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Learned Factor Graphs for Inference from Stationary Time Sequences [107.63351413549992]
  定常時間列のためのモデルベースアルゴリズムとデータ駆動型MLツールを組み合わせたフレームワークを提案する。 ニューラルネットワークは、時系列の分布を記述する因子グラフの特定のコンポーネントを別々に学習するために開発された。 本稿では,学習された定常因子グラフに基づく推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-05T07:06:19Z)
• Fourier Neural Networks as Function Approximators and Differential Equation Solvers [0.456877715768796]
  活性化と損失関数の選択は、フーリエ級数展開を密接に再現する結果をもたらす。 我々はこのFNNを自然周期的滑らかな関数と断片的連続周期関数で検証する。 現在のアプローチの主な利点は、トレーニング領域外のソリューションの有効性、トレーニングされたモデルの解釈可能性、使用の単純さである。
  論文  参考訳（メタデータ） (2020-05-27T00:30:58Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。