論文の概要: LArctan-SKAN: Simple and Efficient Single-Parameterized Kolmogorov-Arnold Networks using Learnable Trigonometric Function

• arxiv url: http://arxiv.org/abs/2410.19360v1
• Date: Fri, 25 Oct 2024 07:41:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 13:36:48.685976
• Title: LArctan-SKAN: Simple and Efficient Single-Parameterized Kolmogorov-Arnold Networks using Learnable Trigonometric Function
• Title（参考訳）: LArctan-SKAN:学習可能な三角関数を用いた単一パラメータ化Kolmogorov-Arnoldネットワーク
• Authors: Zhijie Chen, Xinglin Zhang,
• Abstract要約: LSin-SKAN、LCos-SKAN、LArctan-SKANの3つの新しい派生型が開発されている。 LArctan-SKANは精度と計算効率の両面で優れている。 その結果,三角関数で構築したSKANの有効性と可能性が確認された。
• 参考スコア（独自算出の注目度）: 4.198997497722401
• License:
• Abstract: This paper proposes a novel approach for designing Single-Parameterized Kolmogorov-Arnold Networks (SKAN) by utilizing a Single-Parameterized Function (SFunc) constructed from trigonometric functions. Three new SKAN variants are developed: LSin-SKAN, LCos-SKAN, and LArctan-SKAN. Experimental validation on the MNIST dataset demonstrates that LArctan-SKAN excels in both accuracy and computational efficiency. Specifically, LArctan-SKAN significantly improves test set accuracy over existing models, outperforming all pure KAN variants compared, including FourierKAN, LSS-SKAN, and Spl-KAN. It also surpasses mixed MLP-based models such as MLP+rKAN and MLP+fKAN in accuracy. Furthermore, LArctan-SKAN exhibits remarkable computational efficiency, with a training speed increase of 535.01% and 49.55% compared to MLP+rKAN and MLP+fKAN, respectively. These results confirm the effectiveness and potential of SKANs constructed with trigonometric functions. The experiment code is available at https://github.com/chikkkit/LArctan-SKAN .
• Abstract（参考訳）: 本稿では,三角関数から構築した単一パラメータ化関数(SFunc)を用いて,SKAN(Single-Parameterized Kolmogorov-Arnold Networks)の設計手法を提案する。 LSin-SKAN、LCos-SKAN、LArctan-SKANの3つの新しい派生型が開発されている。 MNISTデータセットの実験的検証は、LArctan-SKANが精度と計算効率の両方で優れていることを示す。 具体的には、LArctan-SKANは既存のモデルよりもテストセットの精度を著しく向上させ、FourierKAN、LSS-SKAN、Spl-KANなど、純粋なKankanの派生モデルよりも優れている。 また、MLP+rKANやMLP+fKANといった混合MLPベースのモデルを精度で上回っている。 さらに、LArctan-SKAN は MLP+rKAN と MLP+fKAN と比較して 535.01% と 49.55% のトレーニング速度で計算効率が著しく向上している。 これらの結果から,三角関数を用いたSKANの有効性と可能性が確認された。 実験コードはhttps://github.com/chikkkit/LArctan-SKAN で公開されている。

関連論文リスト

• LSS-SKAN: Efficient Kolmogorov-Arnold Networks based on Single-Parameterized Function [4.198997497722401]
  Kolmogorov-Arnold Networks (KAN) ネットワークは高視認性のために注目されている。 そこで本研究では,基礎関数が1つの学習可能なパラメータのみを利用するSKANという優れたKAを提案する。 LSS-SKANはMNISTデータセットよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-10-19T02:44:35Z)
• EKAN: Equivariant Kolmogorov-Arnold Networks [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons [2.77390041716769]
  Kolmogorov-Arnold Networks (KAN) は、ネットワークエッジ上で直接、高度に柔軟な学習可能なアクティベーション関数を使用する。 kanは学習可能なパラメータの数を大幅に増加させ、データスカース環境での有効性に対する懸念を高めます。 個別化活性化関数はパラメータの緩やかな増加だけで予測精度が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:56:08Z)
• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Kolmogorov-Arnold Networks (KAN) for Time Series Classification and Robust Analysis [2.978024452652925]
  Kolmogorov-Arnold Networks (KAN) は、MLP(Multi-Layer Perceptrons)に代わる有望な代替品として注目されている。 理論上は魅力的だが、Kaninは大規模なベンチマークデータセットの検証を必要とする。
  論文  参考訳（メタデータ） (2024-08-14T06:15:55Z)
• Simple Full-Spectrum Correlated k-Distribution Model based on Multilayer Perceptron [6.354085763851961]
  FSCK(SFM)モデルは、精度、効率、ストレージを補うために開発された。 開発したSFMモデルと、ルックアップテーブルや従来のFSCK(TFM)モデルを含む他のFSCKツールを比較するために、いくつかのテストケースが実施されている。 その結果, SFMモデルでは, 少ない計算コストで, ルックアップテーブルよりも優れた精度が得られることがわかった。
  論文  参考訳（メタデータ） (2024-03-05T08:04:01Z)
• Learning Unnormalized Statistical Models via Compositional Optimization [73.30514599338407]
  実データと人工雑音のロジスティックな損失として目的を定式化することにより, ノイズコントラスト推定(NCE)を提案する。 本稿では,非正規化モデルの負の対数類似度を最適化するための直接的アプローチについて検討する。
  論文  参考訳（メタデータ） (2023-06-13T01:18:16Z)
• D4FT: A Deep Learning Approach to Kohn-Sham Density Functional Theory [79.50644650795012]
  コーンシャム密度汎関数論(KS-DFT)を解くための深層学習手法を提案する。 このような手法はSCF法と同じ表現性を持つが,計算複雑性は低下する。 さらに,本手法により,より複雑なニューラルベース波動関数の探索が可能となった。
  論文  参考訳（メタデータ） (2023-03-01T10:38:10Z)
• Scaling & Shifting Your Features: A New Baseline for Efficient Model Tuning [126.84770886628833]
  既存の微調整法は、事前訓練されたモデルの全てのパラメータ(フル微調整)をチューニングするか、最後の線形層(線形プローブ)のみをチューニングする。 そこで本研究では,SSFと呼ばれるパラメータ効率の高いファインタニング手法を提案する。
  論文  参考訳（メタデータ） (2022-10-17T08:14:49Z)
• Sinkhorn Natural Gradient for Generative Models [125.89871274202439]
  本研究では,シンクホーンの発散による確率空間上の最も急降下法として機能するシンクホーン自然勾配(SiNG)アルゴリズムを提案する。 本稿では,SiNG の主要成分であるシンクホーン情報行列 (SIM) が明示的な表現を持ち,対数的スケールの複雑さを正確に評価できることを示す。 本実験では,SiNGと最先端のSGD型解法を定量的に比較し,その有効性と有効性を示す。
  論文  参考訳（メタデータ） (2020-11-09T02:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。