論文の概要: Fourier Multi-Component and Multi-Layer Neural Networks: Unlocking High-Frequency Potential

• arxiv url: http://arxiv.org/abs/2502.18959v2
• Date: Tue, 24 Jun 2025 17:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 15:36:08.3001
• Title: Fourier Multi-Component and Multi-Layer Neural Networks: Unlocking High-Frequency Potential
• Title（参考訳）: フーリエ多成分・多層ニューラルネットワーク:高周波電位のアンロック
• Authors: Shijun Zhang, Hongkai Zhao, Yimin Zhong, Haomin Zhou,
• Abstract要約: 本稿では,FMMNN(Fourier Multi-Component and Multi-Layer Neural Network)を紹介する。 我々は、FMMNNが高周波成分のモデリングに非常に効果的で柔軟なことを実証した。 また、FMMNNの最適化状況を分析し、標準の完全連結ニューラルネットワークよりもずっと好都合であることを示した。
• 参考スコア（独自算出の注目度）: 9.699640804685629
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The architecture of a neural network and the selection of its activation function are both fundamental to its performance. Equally vital is ensuring these two elements are well-matched, as their alignment is key to achieving effective representation and learning. In this paper, we introduce the Fourier Multi-Component and Multi-Layer Neural Network (FMMNN), a novel model that creates a strong synergy between them. We demonstrate that FMMNNs are highly effective and flexible in modeling high-frequency components. Our theoretical results demonstrate that FMMNNs have exponential expressive power for function approximation. We also analyze the optimization landscape of FMMNNs and find it to be much more favorable than that of standard fully connected neural networks, especially when dealing with high-frequency features. In addition, we propose a scaled random initialization method for the first layer's weights in FMMNNs, which significantly speeds up training and enhances overall performance. Extensive numerical experiments support our theoretical insights, showing that FMMNNs consistently outperform traditional approaches in accuracy and efficiency across various tasks.
• Abstract（参考訳）: ニューラルネットワークのアーキテクチャとアクティベーション関数の選択はどちらもその性能に基本的なものである。 この2つの要素は、効果的な表現と学習を達成する上で、アライメントが鍵となるため、整合性を確保することが不可欠です。 本稿では,FMMNN(Fourier Multi-Component and Multi-Layer Neural Network)を提案する。 我々は、FMMNNが高周波成分のモデリングに非常に効果的で柔軟なことを実証した。 FMMNNは関数近似の指数的表現力を持つことを示す。 また、FMMNNの最適化状況を分析し、特に高周波機能を扱う場合、標準の完全連結ニューラルネットワークよりもずっと好都合であることが分かりました。 さらに、FMMNNにおける第1層の重みに対するスケールドランダム初期化手法を提案し、トレーニングを著しく高速化し、全体的な性能を向上させる。 大規模な数値実験は、FMMNNが様々なタスクにおける精度と効率の伝統的なアプローチを一貫して上回っていることを示す、我々の理論的な洞察を支持する。

関連論文リスト

• Fractional Spike Differential Equations Neural Network with Efficient Adjoint Parameters Training [63.3991315762955]
  スパイキングニューラルネットワーク(SNN)は、生物学的ニューロンからインスピレーションを得て、脳に似た計算の現実的なモデルを作成する。 既存のほとんどのSNNは、マルコフ特性を持つ一階常微分方程式(ODE)によってモデル化された、神経細胞膜電圧ダイナミクスの単一時間定数を仮定している。 本研究では, 膜電圧およびスパイク列車の長期依存性を分数次力学により捉えるフラクタルSPIKE微分方程式ニューラルネットワーク (fspikeDE) を提案する。
  論文  参考訳（メタデータ） (2025-07-22T18:20:56Z)
• Self-cross Feature based Spiking Neural Networks for Efficient Few-shot Learning [16.156610945877986]
  スパイキングニューラルネットワーク(SNN)に基づく数発の学習フレームワークを提案する。 列車の時間的スパイクダイナミクスを最適化し,識別力を高めるために,時間的効率的なトレーニング損失と情報損失の組み合わせを適用した。
  論文  参考訳（メタデータ） (2025-05-12T16:51:08Z)
• Kolmogorov-Arnold Fourier Networks [9.17466024566914]
  Kolmogorov-Arnold-Fourier Network (KAF)はトレーニング可能なRandom Fourier Features (RFF)と新しいハイブリッドGELU-Fourierアクティベーション機構を統合している。 主な技術的貢献は、Kanの二重行列構造を行列関連性を通じてマージし、パラメータを著しく減少させることである。 実験では、視覚、NLP、オーディオ処理、微分方程式解決タスクなど、さまざまな領域にわたるKAFの優位性を実証した。
  論文  参考訳（メタデータ） (2025-02-09T20:21:43Z)
• FE-UNet: Frequency Domain Enhanced U-Net with Segment Anything Capability for Versatile Image Segmentation [50.9040167152168]
  CNNのコントラスト感度関数を実験的に定量化し,人間の視覚システムと比較した。 本稿ではウェーブレット誘導分光ポーリングモジュール(WSPM)を提案する。 人間の視覚系をさらにエミュレートするために、周波数領域拡張受容野ブロック(FE-RFB)を導入する。 本研究では,SAM2 をバックボーンとし,Hiera-Large を事前学習ブロックとして組み込んだ FE-UNet を開発した。
  論文  参考訳（メタデータ） (2025-02-06T07:24:34Z)
• Trainable Adaptive Activation Function Structure (TAAFS) Enhances Neural Network Force Field Performance with Only Dozens of Additional Parameters [0.0]
  TAAFS(Treatable Adaptive Function Activation Structure) 非線形なアクティベーションのための数学的定式化を選択する方法を提案する。 本研究では、TAAFSを様々なニューラルネットワークモデルに統合し、精度の向上を観察する。
  論文  参考訳（メタデータ） (2024-12-19T09:06:39Z)
• Deep-Unrolling Multidimensional Harmonic Retrieval Algorithms on Neuromorphic Hardware [78.17783007774295]
  本稿では,高精度かつエネルギー効率の高い単発多次元高調波検索のための変換に基づくニューロモルフィックアルゴリズムの可能性について検討する。 複雑な値の畳み込み層と活性化をスパイクニューラルネットワーク(SNN)に変換する新しい手法を開発した。 変換されたSNNは、元のCNNに比べて性能が低下し、ほぼ5倍の電力効率を実現している。
  論文  参考訳（メタデータ） (2024-12-05T09:41:33Z)
• Neuromorphic Wireless Split Computing with Multi-Level Spikes [69.73249913506042]
  ニューロモルフィックコンピューティングは、スパイキングニューラルネットワーク(SNN)を使用して推論タスクを実行する。 スパイクニューロン間で交換される各スパイクに小さなペイロードを埋め込むことで、エネルギー消費を増大させることなく推論精度を高めることができる。 分割コンピューティング — SNNを2つのデバイスに分割する — は、有望なソリューションだ。 本稿では,マルチレベルSNNを用いたニューロモルフィック無線分割コンピューティングアーキテクチャの総合的研究について述べる。
  論文  参考訳（メタデータ） (2024-11-07T14:08:35Z)
• Multiscale fusion enhanced spiking neural network for invasive BCI neural signal decoding [13.108613110379961]
  本稿では,MFSNN(Multiscale Fusion Spiking Neural Network)を用いた新しいアプローチを提案する。 MFSNNは、人間の視覚知覚に見られる並列処理とマルチスケール機能融合をエミュレートし、リアルタイム、効率的、エネルギーを節約する神経信号復号を可能にする。 MFSNNは、GRUなどの従来のニューラルネットワーク手法を精度と計算効率の両方で超越している。
  論文  参考訳（メタデータ） (2024-09-14T09:53:30Z)
• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Structured and Balanced Multi-component and Multi-layer Neural Networks [9.699640804685629]
  バランスの取れた多成分・多層計算ネットワーク(MMNN)を提案する。 MMNNは、完全連結ニューラルネットワーク(FCNN)や多層パーセプトロン(MLP)と比較して、トレーニングパラメータの大幅な削減を実現している
  論文  参考訳（メタデータ） (2024-06-30T17:00:42Z)
• Enhancing Fast Feed Forward Networks with Load Balancing and a Master Leaf Node [49.08777822540483]
  高速フィードフォワードネットワーク(FFF)は、入力空間の異なる領域が広いネットワークのニューロンの異なるサブセットを活性化する観察を利用する。 本稿では,FFFアーキテクチャにロードバランシングとマスタリーフ技術を導入し,性能向上とトレーニングプロセスの簡素化を図る。
  論文  参考訳（メタデータ） (2024-05-27T05:06:24Z)
• Parallel Proportional Fusion of Spiking Quantum Neural Network for Optimizing Image Classification [10.069224006497162]
  量子・スパイキングニューラルネットワーク(PPF-QSNN)の並列比例融合(Parallel Proportional Fusion of Quantum and Spiking Neural Networks)と呼ばれる新しいアーキテクチャを導入する。 提案したPPF-QSNNは、既存のスパイクニューラルネットワークと、精度、損失、ロバストネスといったメトリクスにわたるシリアル量子ニューラルネットワークの両方より優れている。 本研究は、人工知能計算における量子優位性の発展と応用の基盤となるものである。
  論文  参考訳（メタデータ） (2024-04-01T10:35:35Z)
• From Alexnet to Transformers: Measuring the Non-linearity of Deep Neural Networks with Affine Optimal Transport [32.39176908225668]
  本稿では,DNNの非線形性シグネチャの概念を紹介する。これはディープニューラルネットワークの非線形性を測定するための,理論上初めての音響解である。 提案した非線形署名の実用性を明らかにするための実験結果について述べる。
  論文  参考訳（メタデータ） (2023-10-17T17:50:22Z)
• Artificial to Spiking Neural Networks Conversion for Scientific Machine Learning [24.799635365988905]
  物理インフォームドニューラルネットワーク(PINN)をスパイキングニューラルネットワーク(SNN)に変換する手法を提案する。 SNNは従来のニューラルネットワーク(ANN)と比較してエネルギー効率が高いと期待されている
  論文  参考訳（メタデータ） (2023-08-31T00:21:27Z)
• Adaptive Frequency Filters As Efficient Global Token Mixers [100.27957692579892]
  適応周波数フィルタは効率的なグローバルトークンミキサーとして機能することを示す。 我々は、AFFNetと呼ばれる軽量ニューラルネットワークを構築するために、AFFトークンミキサーを主要なニューラルネットワークとして捉えています。
  論文  参考訳（メタデータ） (2023-07-26T07:42:28Z)
• A Hybrid Neural Coding Approach for Pattern Recognition with Spiking Neural Networks [53.31941519245432]
  脳にインスパイアされたスパイクニューラルネットワーク(SNN)は、パターン認識タスクを解く上で有望な能力を示している。 これらのSNNは、情報表現に一様神経コーディングを利用する同質ニューロンに基づいている。 本研究では、SNNアーキテクチャは異種符号化方式を組み込むよう、均質に設計されるべきである、と論じる。
  論文  参考訳（メタデータ） (2023-05-26T02:52:12Z)
• Properties and Potential Applications of Random Functional-Linked Types of Neural Networks [81.56822938033119]
  ランダム関数リンクニューラルネットワーク(RFLNN)は、深い構造を学習する別の方法を提供する。 本稿では周波数領域の観点からRFLNNの特性について考察する。 本稿では,より優れた性能でBLSネットワークを生成する手法を提案し,ポゾン方程式を解くための効率的なアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2023-04-03T13:25:22Z)
• SymNMF-Net for The Symmetric NMF Problem [62.44067422984995]
  我々は,Symmetric NMF問題に対するSymNMF-Netと呼ばれるニューラルネットワークを提案する。 各ブロックの推測は最適化の単一イテレーションに対応することを示す。 実世界のデータセットに関する実証的な結果は、我々のSymNMF-Netの優位性を示している。
  論文  参考訳（メタデータ） (2022-05-26T08:17:39Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• The Spectral Bias of Polynomial Neural Networks [63.27903166253743]
  PNN(Polynomial Neural Network)は、高頻度情報を重要視する画像生成と顔認識に特に有効であることが示されている。 これまでの研究では、ニューラルネットワークが低周波関数に対して$textitspectral bias$を示しており、トレーニング中に低周波成分のより高速な学習をもたらすことが示されている。 このような研究に触発されて、我々はPNNのTangent Kernel(NTK)のスペクトル分析を行う。 我々は、最近提案されたPNNのパラメトリゼーションである$Pi$-Netファミリがスピードアップすることを発見した。
  論文  参考訳（メタデータ） (2022-02-27T23:12:43Z)
• Classifying high-dimensional Gaussian mixtures: Where kernel methods fail and neural networks succeed [27.38015169185521]
  2層ニューラルネットワーク (2lnn) の隠れたニューロンがカーネル学習の性能を上回ることができることを理論的に示している。 ニューラルネットワークのオーバーパラメータが収束を早めるが、最終的な性能は改善しないことを示す。
  論文  参考訳（メタデータ） (2021-02-23T15:10:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。