論文の概要: Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2508.00247v1
• Date: Fri, 01 Aug 2025 01:16:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.701766
• Title: Sinusoidal Approximation Theorem for Kolmogorov-Arnold Networks
• Title（参考訳）: Kolmogorov-Arnold ネットワークの正弦波近似理論
• Authors: Sergei Gleyzer, Hanh Nguyen, Dinesh P. Ramakrishnan, Eric A. F. Reinhardt,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は、最近マルチ層パーセプトロンの代替として提案されている。 コルモゴロフ・アルノルド表現における内・外両方の関数を、学習可能な周波数の重み付き正弦波関数に置き換えることにより、新しいカン変法を提案する。 Lorentz と Sprecher が導入した単純化に触発されて、正弦波活性化の位相を線形空間定数値に固定し、その理論的妥当性の証明を与える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The Kolmogorov-Arnold representation theorem states that any continuous multivariable function can be exactly represented as a finite superposition of continuous single variable functions. Subsequent simplifications of this representation involve expressing these functions as parameterized sums of a smaller number of unique monotonic functions. These developments led to the proof of the universal approximation capabilities of multilayer perceptron networks with sigmoidal activations, forming the alternative theoretical direction of most modern neural networks. Kolmogorov-Arnold Networks (KANs) have been recently proposed as an alternative to multilayer perceptrons. KANs feature learnable nonlinear activations applied directly to input values, modeled as weighted sums of basis spline functions. This approach replaces the linear transformations and sigmoidal post-activations used in traditional perceptrons. Subsequent works have explored alternatives to spline-based activations. In this work, we propose a novel KAN variant by replacing both the inner and outer functions in the Kolmogorov-Arnold representation with weighted sinusoidal functions of learnable frequencies. Inspired by simplifications introduced by Lorentz and Sprecher, we fix the phases of the sinusoidal activations to linearly spaced constant values and provide a proof of its theoretical validity. We also conduct numerical experiments to evaluate its performance on a range of multivariable functions, comparing it with fixed-frequency Fourier transform methods and multilayer perceptrons (MLPs). We show that it outperforms the fixed-frequency Fourier transform and achieves comparable performance to MLPs.
• Abstract（参考訳）: コルモゴロフ・アルノルドの表現定理は、任意の連続多変数函数は、連続単変数函数の有限重ね合わせとして正確に表すことができると述べている。 この表現のその後の単純化は、これらの関数をより小さな一様単調関数のパラメータ化された和として表現することを含む。 これらの発展により、シグモダルアクティベーションを持つ多層パーセプトロンネットワークの普遍近似能力が証明され、現代のほとんどのニューラルネットワークの代替理論の方向性が形成された。 Kolmogorov-Arnold Networks (KAN) は、最近マルチ層パーセプトロンの代替として提案されている。 Kansは、基底スプライン関数の重み付け和としてモデル化された入力値に直接適用される学習可能な非線形アクティベーションを特徴とする。 このアプローチは、従来のパーセプトロンで使用される線形変換とシグモダルなポストアクティベーションを置き換える。 その後の研究はスプラインベースのアクティベーションに代わるものを探究してきた。 本研究では,コルモゴロフ・アルノルド表現の内・外両方の関数を,学習可能な周波数の重み付き正弦波関数に置き換えることで,新しいカン変法を提案する。 Lorentz と Sprecher が導入した単純化に触発されて、正弦波活性化の位相を線形空間定数値に固定し、その理論的妥当性の証明を与える。 また,多変数関数を用いた数値実験を行い,固定周波数フーリエ変換法と多層パーセプトロン(MLP)との比較を行った。 固定周波数フーリエ変換より優れ、MPPに匹敵する性能が得られることを示す。

関連論文リスト

• From Taylor Series to Fourier Synthesis: The Periodic Linear Unit [0.0]
  周期的非単調性を持つ学習可能な正弦波に基づくアクティベーションである周期線形ユニット(PLU)を導入する。 2つのニューロンのみによる最小限の活性化は、標準的なアクティベーションを用いた等価ネットワークでは不可能なスパイラル分類タスクを解くことができることを示す。
  論文  参考訳（メタデータ） (2025-08-02T03:26:48Z)
• The Spectral Bias of Shallow Neural Network Learning is Shaped by the Choice of Non-linearity [0.7499722271664144]
  非線形活性化関数がニューラルネットワークの暗黙バイアスの形成にどのように寄与するかを考察する。 局所的動的誘引器は、ニューロンの活性化関数への入力がゼロとなる超平面のクラスターの形成を促進することを示す。
  論文  参考訳（メタデータ） (2025-03-13T17:36:46Z)
• Robustifying Fourier Features Embeddings for Implicit Neural Representations [25.725097757343367]
  Inlicit Neural Representation (INR) は、目標関数の対応する値に座標をマッピングすることで、連続関数を表現するためにニューラルネットワークを使用する。 INRは、様々な周波数を含むシーンを扱う際に、スペクトルバイアスとして知られる課題に直面している。 本稿では,多層パーセプトロン (MLP) を添加剤なしで使用することを提案する。
  論文  参考訳（メタデータ） (2025-02-08T07:43:37Z)
• State-Free Inference of State-Space Models: The Transfer Function Approach [132.83348321603205]
  状態のない推論では、状態サイズが大きくなると大きなメモリや計算コストは発生しない。 提案した周波数領域転送関数のパラメトリゼーション特性を用いてこれを実現する。 長い畳み込みハイエナベースライン上での言語モデリングにおける難易度の改善を報告した。
  論文  参考訳（メタデータ） (2024-05-10T00:06:02Z)
• EulerFormer: Sequential User Behavior Modeling with Complex Vector Attention [88.45459681677369]
  複素ベクトル注意を持つ新しい変圧器変圧器(EulerFormer)を提案する。 意味的差と位置的差の両方を定式化するための統一的な理論的枠組みを提供する。 意味的変動に対してより堅牢であり、原理上はより上述の理論的性質を持つ。
  論文  参考訳（メタデータ） (2024-03-26T14:18:43Z)
• Enhancing Solutions for Complex PDEs: Introducing Complementary Convolution and Equivariant Attention in Fourier Neural Operators [17.91230192726962]
  複雑なPDEを解くために,畳み込み-残留層と注意機構を備えた新しい階層型フーリエニューラル演算子を提案する。 提案手法はこれらのPDEベンチマークにおいて,特に高速な係数変動を特徴とする方程式に対して,優れた性能を実現する。
  論文  参考訳（メタデータ） (2023-11-21T11:04:13Z)
• Message-Passing Neural Quantum States for the Homogeneous Electron Gas [41.94295877935867]
  連続空間における強相互作用フェルミオンをシミュレートするメッセージパッシング・ニューラルネットワークに基づく波動関数Ansatzを導入する。 等質電子ガスの基底状態を3次元でシミュレーションすることにより,その精度を実証する。
  論文  参考訳（メタデータ） (2023-05-12T04:12:04Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Third quantization of open quantum systems: new dissipative symmetries and connections to phase-space and Keldysh field theory formulations [77.34726150561087]
  3つの方法全てを明示的に接続する方法で第3量子化の手法を再構成する。 まず、我々の定式化は、すべての二次ボゾンあるいはフェルミオンリンドブラディアンに存在する基本散逸対称性を明らかにする。 ボソンに対して、ウィグナー関数と特徴関数は密度行列の「波動関数」と考えることができる。
  論文  参考訳（メタデータ） (2023-02-27T18:56:40Z)
• Fast Sampling of Diffusion Models via Operator Learning [74.37531458470086]
  我々は,拡散モデルのサンプリング過程を高速化するために,確率フロー微分方程式の効率的な解法であるニューラル演算子を用いる。 シーケンシャルな性質を持つ他の高速サンプリング手法と比較して、並列復号法を最初に提案する。 本稿では,CIFAR-10では3.78、ImageNet-64では7.83の最先端FIDを1モデル評価環境で達成することを示す。
  論文  参考訳（メタデータ） (2022-11-24T07:30:27Z)
• Unified Fourier-based Kernel and Nonlinearity Design for Equivariant Networks on Homogeneous Spaces [52.424621227687894]
  等質空間上の群同変ネットワークに対する統一的枠組みを導入する。 昇降した特徴場のフーリエ係数の空間性を利用する。 安定化部分群におけるフーリエ係数としての特徴を取り扱う他の方法が、我々のアクティベーションの特別な場合であることを示す。
  論文  参考訳（メタデータ） (2022-06-16T17:59:01Z)
• First Power Linear Unit with Sign [0.0]
  バイオニクスの直感的な意味を持ちながら、一般的な逆操作によって啓蒙される。 PFPLUSと呼ばれるより一般化された型に表される関数を2つのパラメータで拡張する。
  論文  参考訳（メタデータ） (2021-11-29T06:47:58Z)
• An Investigation of Potential Function Designs for Neural CRF [75.79555356970344]
  本稿では,ニューラルCRFモデルに対する一連の表現力のあるポテンシャル関数について検討する。 実験により, 隣接する2つのラベルと隣接する2つの単語のベクトル表現に基づく分解された二次ポテンシャル関数が, 常に最高の性能を達成することを示す。
  論文  参考訳（メタデータ） (2020-11-11T07:32:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。