論文の概要: From Taylor Series to Fourier Synthesis: The Periodic Linear Unit

• arxiv url: http://arxiv.org/abs/2508.01175v1
• Date: Sat, 02 Aug 2025 03:26:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.697161
• Title: From Taylor Series to Fourier Synthesis: The Periodic Linear Unit
• Title（参考訳）: テイラーシリーズからフーリエ合成へ:周期線形ユニット
• Authors: Shiko Kudo,
• Abstract要約: 周期的非単調性を持つ学習可能な正弦波に基づくアクティベーションである周期線形ユニット(PLU)を導入する。 2つのニューロンのみによる最小限の活性化は、標準的なアクティベーションを用いた等価ネットワークでは不可能なスパイラル分類タスクを解くことができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: The dominant paradigm in modern neural networks relies on simple, monotonically-increasing activation functions like ReLU. While effective, this paradigm necessitates large, massively-parameterized models to approximate complex functions. In this paper, we introduce the Periodic Linear Unit (PLU), a learnable sine-wave based activation with periodic non-monotonicity. PLU is designed for maximum expressive power and numerical stability, achieved through its formulation and a paired innovation we term Repulsive Reparameterization, which prevents the activation from collapsing into a non-expressive linear function. We demonstrate that a minimal MLP with only two PLU neurons can solve the spiral classification task, a feat impossible for equivalent networks using standard activations. This suggests a paradigm shift from networks as piecewise Taylor-like approximators to powerful Fourier-like function synthesizers, achieving exponential gains in parameter efficiency by placing intelligence in the neuron itself.
• Abstract（参考訳）: 現代のニューラルネットワークにおける支配的なパラダイムは、ReLUのようなシンプルで単調なアクティベーション関数に依存している。 有効ではあるが、このパラダイムは複雑な関数を近似するために大規模で大規模にパラメータ化されたモデルを必要とする。 本稿では、周期的非単調性を持つ学習可能な正弦波に基づくアクティベーションである周期線形ユニット(PLU)を紹介する。 PLUは、最大表現力と数値安定性のために設計されており、その定式化と、非表現線形関数へのアクティベーションの崩壊を防止したRepulsive Reparameterizationという2つのイノベーションによって実現されている。 2つのPLUニューロンしか持たない最小のMLPは、標準的なアクティベーションを用いた等価ネットワークでは不可能なスパイラル分類タスクを解くことができることを示す。 このことは、テイラー様近似器のようなネットワークから強力なフーリエ様関数合成器へとパラダイムシフトし、ニューロン自体にインテリジェンスを配置することでパラメータ効率を指数関数的に向上させることを示唆している。

関連論文リスト

• Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks [0.0]
  Kolmogorov-Arnold Networks (KAN) は、最近マルチ層パーセプトロンの代替として提案されている。 コルモゴロフ・アルノルド表現における内・外両方の関数を、学習可能な周波数の重み付き正弦波関数に置き換えることにより、新しいカン変法を提案する。 Lorentz と Sprecher が導入した単純化に触発されて、正弦波活性化の位相を線形空間定数値に固定し、その理論的妥当性の証明を与える。
  論文  参考訳（メタデータ） (2025-08-01T01:16:09Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Parametric Leaky Tanh: A New Hybrid Activation Function for Deep Learning [0.0]
  活性化機能(AF)はディープニューラルネットワーク(DNN)の重要な構成要素である 本稿では,Tanh と Leaky ReLU の双方の活性化関数の強みを組み合わせたハイブリッド活性化関数を提案する。 PLanh はすべての点で微分可能であり、負の入力に対する非ゼロ勾配を保証することで 'dying ReLU' 問題に対処する。
  論文  参考訳（メタデータ） (2023-08-11T08:59:27Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
  本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。 定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。 ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
  論文  参考訳（メタデータ） (2021-07-29T23:32:15Z)
• Going Beyond Linear RL: Sample Efficient Neural Function Approximation [76.57464214864756]
  2層ニューラルネットワークによる関数近似について検討する。 この結果は線形(あるいは可溶性次元)法で達成できることを大幅に改善する。
  論文  参考訳（メタデータ） (2021-07-14T03:03:56Z)
• Theory of gating in recurrent neural networks [5.672132510411465]
  リカレントニューラルネットワーク(Recurrent Neural Network, RNN)は、機械学習(ML)や神経科学で広く使われている強力な動的モデルである。 ここでは、ゲーティングが集合力学の2つの健全な特徴を柔軟に制御できることを示す。 ゲート制御の時間スケールは、ネットワークがフレキシブルインテグレータとして機能する、新しい、極端に安定な状態につながる。
  論文  参考訳（メタデータ） (2020-07-29T13:20:58Z)
• Automated and Sound Synthesis of Lyapunov Functions with SMT Solvers [70.70479436076238]
  線形、非線形(ポリノミカル)およびパラメトリックモデルに対するリャプノフ関数を合成する。 パラメトリックテンプレートからLyapunov関数を合成するための帰納的フレームワークを利用する。
  論文  参考訳（メタデータ） (2020-07-21T14:45:23Z)
• Measuring Model Complexity of Neural Networks with Curve Activation Functions [100.98319505253797]
  本稿では,線形近似ニューラルネットワーク(LANN)を提案する。 ニューラルネットワークのトレーニングプロセスを実験的に検討し、オーバーフィッティングを検出する。 我々は、$L1$と$L2$正規化がモデルの複雑さの増加を抑制することを発見した。
  論文  参考訳（メタデータ） (2020-06-16T07:38:06Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)
• Formal Synthesis of Lyapunov Neural Networks [61.79595926825511]
  本稿では,リアプノフ関数の自動合成法を提案する。 我々は,数値学習者と記号検証器が相互作用して,確実に正しいリアプノフニューラルネットワークを構築する,反例誘導方式を採用する。 提案手法は,Lyapunov関数を他の手法よりも高速かつ広い空間領域で合成する。
  論文  参考訳（メタデータ） (2020-03-19T17:21:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。