論文の概要: FAN: Fourier Analysis Networks

• arxiv url: http://arxiv.org/abs/2410.02675v3
• Date: Fri, 31 Jan 2025 17:00:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-03 14:00:11.712026
• Title: FAN: Fourier Analysis Networks
• Title（参考訳）: FAN: フーリエ分析ネットワーク
• Authors: Yihong Dong, Ge Li, Yongding Tao, Xue Jiang, Kechi Zhang, Jia Li, Jinliang Deng, Jing Su, Jun Zhang, Jingjing Xu,
• Abstract要約: 我々は、幅広い適用性を提供し、周期性モデリングの課題に対処する、新しい汎用ニューラルネットワークであるFANを提案する。 本研究では、周期性モデリングタスクにおけるFANの優位性と、実世界のタスクにおけるFANの有効性と一般化性を示す。
• 参考スコア（独自算出の注目度）: 46.19371193989157
• License:
• Abstract: Despite the remarkable successes of general-purpose neural networks, such as MLPs and Transformers, we find that they exhibit notable shortcomings in modeling and reasoning about periodic phenomena, achieving only marginal performance within the training domain and failing to generalize effectively to out-of-domain (OOD) scenarios. Periodicity is ubiquitous throughout nature and science. Therefore, neural networks should be equipped with the essential ability to model and handle periodicity. In this work, we propose FAN, a novel general-purpose neural network that offers broad applicability similar to MLP while effectively addressing periodicity modeling challenges. Periodicity is naturally integrated into FAN's structure and computational processes by introducing the Fourier Principle. Unlike existing Fourier-based networks, which possess particular periodicity modeling abilities but are typically designed for specific tasks, our approach maintains the general-purpose modeling capability. Therefore, FAN can seamlessly replace MLP in various model architectures with fewer parameters and FLOPs. Through extensive experiments, we demonstrate the superiority of FAN in periodicity modeling tasks and the effectiveness and generalizability of FAN across a range of real-world tasks, e.g., symbolic formula representation, time series forecasting, language modeling, and image recognition.
• Abstract（参考訳）: MLPやTransformersのような汎用ニューラルネットワークの顕著な成功にもかかわらず、モデリングや周期的な現象の推論において顕著な欠点があり、トレーニング領域内での限界性能のみが達成され、ドメイン外(OOD)シナリオに効果的に一般化できないことが判明した。 周期性は自然と科学の至るところに分布する。 したがって、ニューラルネットワークは周期性のモデル化と処理に不可欠な能力を備えるべきである。 本研究では、周期性モデリングの課題を効果的に解決しつつ、MLPに類似した幅広い適用性を提供する、新しい汎用ニューラルネットワークであるFANを提案する。 周期性は、フーリエ原理を導入することにより、FANの構造と計算プロセスに自然に統合される。 特定の周期性モデリング能力を持つ既存のFourierベースのネットワークとは違い,本手法は汎用モデリング能力を維持している。 したがって、FANは様々なモデルアーキテクチャにおけるMLPを少ないパラメータとFLOPでシームレスに置き換えることができる。 本研究では,周期性モデリングタスクにおけるFANの優位性と実世界のタスク,例えば記号式表現,時系列予測,言語モデリング,画像認識におけるFANの有効性と一般化性を示す。

関連論文リスト

• KKANs: Kurkova-Kolmogorov-Arnold Networks and Their Learning Dynamics [1.8434042562191815]
  Kurkova-Kolmogorov-Arnold Network (KKAN) は、堅牢な多層パーセプトロン(MLP)をベースとした内部関数と、基底関数を外部関数として柔軟な線形結合を組み合わせた新しい2ブロックアーキテクチャである。 ベンチマークの結果、KKANは関数近似および演算子学習タスクにおいて、元のKAN(Kolmogorov-Arnold Networks)よりも優れていた。
  論文  参考訳（メタデータ） (2024-12-21T19:01:38Z)
• A Survey on Kolmogorov-Arnold Network [0.0]
  Kolmogorov-Arnold Networks(KAN)の理論的基礎、進化、応用、そして将来の可能性 Kanは、固定活性化関数の代わりに学習可能なスプラインパラメータ化関数を使用することで、従来のニューラルネットワークと区別する。 本稿では,最近のニューラルアーキテクチャにおけるkanの役割を強調し,データ集約型アプリケーションにおける計算効率,解釈可能性,拡張性を改善するための今後の方向性を概説する。
  論文  参考訳（メタデータ） (2024-11-09T05:54:17Z)
• How neural networks learn to classify chaotic time series [77.34726150561087]
  本研究では,通常の逆カオス時系列を分類するために訓練されたニューラルネットワークの内部動作について検討する。 入力周期性とアクティベーション周期の関係は,LKCNNモデルの性能向上の鍵となる。
  論文  参考訳（メタデータ） (2023-06-04T08:53:27Z)
• Learning PDE Solution Operator for Continuous Modeling of Time-Series [1.39661494747879]
  この研究は、動的モデリング能力を改善する偏微分方程式(PDE)に基づくフレームワークを提案する。 時間的離散化の反復的操作や特定のグリッドを必要とせずに連続的に処理できるニューラル演算子を提案する。 我々のフレームワークは、現実世界のアプリケーションに容易に適用可能な、ニューラルネットワークの継続的な表現のための新しい方法を開く。
  論文  参考訳（メタデータ） (2023-02-02T03:47:52Z)
• Dynamics of Fourier Modes in Torus Generative Adversarial Networks [0.8189696720657245]
  GAN(Generative Adversarial Networks)は、所望の事象の完全な合成サンプルを高解像度で生成できる強力な機械学習モデルである。 彼らの成功にもかかわらず、GANのトレーニングプロセスは非常に不安定であり、典型的には、モデルの許容できる収束に達するために、ネットワークにいくつかのアクセサリー摂動を実装する必要がある。 本稿では,ジェネレーティブ・アドバイサル・ネットワークのトレーニングにおける収束と安定性を解析するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-09-05T09:03:22Z)
• Mitigating Performance Saturation in Neural Marked Point Processes: Architectures and Loss Functions [50.674773358075015]
  本稿では,グラフ畳み込み層のみを利用するGCHPという単純なグラフベースのネットワーク構造を提案する。 我々は,GCHPがトレーニング時間を大幅に短縮し,時間間確率仮定による確率比損失がモデル性能を大幅に改善できることを示した。
  論文  参考訳（メタデータ） (2021-07-07T16:59:14Z)
• Forward Super-Resolution: How Can GANs Learn Hierarchical Generative Models for Real-World Distributions [66.05472746340142]
  生成ネットワーク(GAN)は、複雑で現実世界の分布を学習する上で最も成功したネットワークの一つである。 本稿では,GANが実写画像の分布を効率的に学習する方法について述べる。
  論文  参考訳（メタデータ） (2021-06-04T17:33:29Z)
• UNIPoint: Universally Approximating Point Processes Intensities [125.08205865536577]
  学習可能な関数のクラスが任意の有効な強度関数を普遍的に近似できることを示す。 ニューラルポイントプロセスモデルであるUNIPointを実装し,各イベントの基底関数の和をパラメータ化するために,リカレントニューラルネットワークを用いた。
  論文  参考訳（メタデータ） (2020-07-28T09:31:56Z)
• Industrial Forecasting with Exponentially Smoothed Recurrent Neural Networks [0.0]
  本稿では,産業応用における非定常力学系のモデル化に好適な指数的スムーズなリカレントニューラルネットワーク(RNN)のクラスを提案する。 指数スムーズなRNNの電力負荷、気象データ、株価予測への応用は、多段階時系列予測における隠れ状態の指数スムーズ化の有効性を強調している。
  論文  参考訳（メタデータ） (2020-04-09T17:53:49Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。