論文の概要: Kolmogorov-Arnold Fourier Networks

• arxiv url: http://arxiv.org/abs/2502.06018v1
• Date: Sun, 09 Feb 2025 20:21:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 14:34:31.478370
• Title: Kolmogorov-Arnold Fourier Networks
• Title（参考訳）: Kolmogorov-Arnold Fourier Networks
• Authors: Jusheng Zhang, Yijia Fan, Kaitong Cai, Keze Wang,
• Abstract要約: Kolmogorov-Arnold-Fourier Network (KAF)はトレーニング可能なRandom Fourier Features (RFF)と新しいハイブリッドGELU-Fourierアクティベーション機構を統合している。 主な技術的貢献は、Kanの二重行列構造を行列関連性を通じてマージし、パラメータを著しく減少させることである。 実験では、視覚、NLP、オーディオ処理、微分方程式解決タスクなど、さまざまな領域にわたるKAFの優位性を実証した。
• 参考スコア（独自算出の注目度）: 9.17466024566914
• License:
• Abstract: Although Kolmogorov-Arnold based interpretable networks (KAN) have strong theoretical expressiveness, they face significant parameter explosion and high-frequency feature capture challenges in high-dimensional tasks. To address this issue, we propose the Kolmogorov-Arnold-Fourier Network (KAF), which effectively integrates trainable Random Fourier Features (RFF) and a novel hybrid GELU-Fourier activation mechanism to balance parameter efficiency and spectral representation capabilities. Our key technical contributions include: (1) merging KAN's dual-matrix structure through matrix association properties to substantially reduce parameters; (2) introducing learnable RFF initialization strategies to eliminate spectral distortion in high-dimensional approximation tasks; (3) implementing an adaptive hybrid activation function that progressively enhances frequency representation during the training process. Comprehensive experiments demonstrate the superiority of our KAF across various domains including vision, NLP, audio processing, and differential equation-solving tasks, effectively combining theoretical interpretability with practical utility and computational efficiency.
• Abstract（参考訳）: Kolmogorov-Arnoldベースの解釈型ネットワーク(KAN)は理論的表現性が強いが、高次元タスクでは重要なパラメータの爆発と高周波の特徴キャプチャの課題に直面している。 本稿では,パラメータ効率とスペクトル表現能力のバランスをとるために,トレーニング可能なRandom Fourier Features(RFF)と新しいGELU-Fourier活性化機構を効果的に統合したKolmogorov-Arnold-Fourier Network(KAF)を提案する。 本研究の主な技術貢献は,(1)Kanの二重行列構造を行列結合特性でマージしてパラメータを大幅に削減すること,(2)高次元近似タスクにおけるスペクトル歪みを除去する学習可能なRFF初期化戦略を導入すること,(3)学習過程における周波数表現を漸進的に強化する適応的ハイブリッド活性化関数を実装すること,である。 総合的な実験は、視覚、NLP、オーディオ処理、微分方程式解決タスクを含む様々な領域におけるKAFの優位性を実証し、理論的解釈可能性と実用性と計算効率を効果的に組み合わせたものである。

関連論文リスト

• DiffFNO: Diffusion Fourier Neural Operator [8.895165270489167]
  重み付きフーリエニューラル演算子(WFNO)により強化された任意のスケール超解像のための新しい拡散フレームワークDiffFNOを紹介する。 DiffFNOは、PSNRの2～4dBのマージンで、様々なスケーリング要因にまたがる既存の手法よりも優れた、最先端のSOTA(State-of-the-art)結果が得られることを示す。 提案手法は,高精度かつ計算効率の両面において,超解像の新たな標準を定めている。
  論文  参考訳（メタデータ） (2024-11-15T03:14:11Z)
• Implicit Neural Representations with Fourier Kolmogorov-Arnold Networks [4.499833362998488]
  入射神経表現(INR)は、複雑な信号の連続的および分解非依存的な表現を提供するためにニューラルネットワークを使用する。 提案したFKANは、第1層のフーリエ級数としてモデル化された学習可能なアクティベーション関数を用いて、タスク固有の周波数成分を効果的に制御し、学習する。 実験結果から,提案したFKANモデルは,最先端の3つのベースラインスキームよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2024-09-14T05:53:33Z)
• Parameter-Efficient Fine-Tuning for Continual Learning: A Neural Tangent Kernel Perspective [125.00228936051657]
  本稿では,タスク関連機能を適応的に生成しながら,タスク固有のパラメータ記憶を不要にする新しいフレームワークNTK-CLを紹介する。 最適化可能なパラメータを適切な正規化で微調整することにより、NTK-CLは確立されたPEFT-CLベンチマーク上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-07-24T09:30:04Z)
• Learning Point Spread Function Invertibility Assessment for Image Deconvolution [14.062542012968313]
  ニューラルネットワークを用いて任意のPSFの可逆性を学習するために非線形アプローチを用いるメトリクスを提案する。 マッピングされたPSFとユニットインパルスとの差は、DLネットワークによるインバージョンの成功率が高いことを示している。
  論文  参考訳（メタデータ） (2024-05-25T20:00:27Z)
• SF-DQN: Provable Knowledge Transfer using Successor Feature for Deep Reinforcement Learning [89.04776523010409]
  本稿では、複数のRL問題が異なる報酬関数を持つが、基礎となる遷移力学を共有する転写強化学習(RL)問題を考察する。 この設定では、各RL問題(タスク)のQ-関数を後継特徴(SF)と報酬マッピングに分解することができる。 GPIを用いたSF-DQNの証明可能な一般化保証を用いた最初の収束解析を確立する。
  論文  参考訳（メタデータ） (2024-05-24T20:30:14Z)
• A Sampling Theory Perspective on Activations for Implicit Neural Representations [73.6637608397055]
  Inlicit Neural Representations (INR) は、コンパクトで微分可能なエンティティとして信号の符号化で人気を博している。 サンプリング理論の観点からこれらの活性化を包括的に分析する。 本研究により,INRと併用されていないシンクアクティベーションは,信号符号化に理論的に最適であることが判明した。
  論文  参考訳（メタデータ） (2024-02-08T05:52:45Z)
• Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
  適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。 我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
  論文  参考訳（メタデータ） (2023-07-26T07:42:28Z)
• Hybrid Spectral Denoising Transformer with Guided Attention [34.34075175179669]
  ハイブリットスペクトルデノナイジング用ハイブリットスペクトルデノナイジングトランス(HSDT)を提案する。 我々のHSDTは、計算オーバーヘッドを低く保ちながら、既存の最先端手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-03-16T02:24:31Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Fourier Space Losses for Efficient Perceptual Image Super-Resolution [131.50099891772598]
  提案した損失関数の適用のみで,最近導入された効率的なジェネレータアーキテクチャの性能向上が可能であることを示す。 フーリエ空間における周波数に対する損失の直接的強調は知覚的画質を著しく向上させることを示す。 訓練されたジェネレータは、最先端の知覚的SR法である RankSRGAN と SRFlow よりも2.4倍、48倍高速である。
  論文  参考訳（メタデータ） (2021-06-01T20:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。