Fugu-MT 論文翻訳(概要): SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

論文の概要: SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

arxiv url: http://arxiv.org/abs/2407.04149v2
Date: Tue, 23 Jul 2024 14:25:08 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 22:04:29.222642
Title: SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions
Title（参考訳）: SineKAN:正弦波活性化関数を用いたコルモゴロフ・アルノルドネットワーク
Authors: Eric A. F. Reinhardt, P. R. Dinesh, Sergei Gleyzer,
Abstract要約: 本稿では,B-Spline 活性化関数の学習可能な格子を,重み付けされた正弦関数の格子に置き換えるモデルを提案する。 MNISTベンチマークでは,B-Spline Kanモデルよりも優れた,あるいは同等の数値性能を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has established an alternative to traditional multi-layer perceptron neural networks in the form of Kolmogorov-Arnold Networks (KAN). The general KAN framework uses learnable activation functions on the edges of the computational graph followed by summation on nodes. The learnable edge activation functions in the original implementation are basis spline functions (B-Spline). Here, we present a model in which learnable grids of B-Spline activation functions are replaced by grids of re-weighted sine functions. We show that this leads to better or comparable numerical performance to B-Spline KAN models on the MNIST benchmark, while also providing a substantial speed increase on the order of 4-8 times.
Abstract（参考訳）: 最近の研究は、KAN(Kolmogorov-Arnold Networks)という形で、従来の多層パーセプトロンニューラルネットワークに代わるものを確立している。一般のkanフレームワークは、計算グラフのエッジ上で学習可能なアクティベーション関数を使用し、続いてノード上での集計を行う。元の実装における学習可能なエッジアクティベーション関数は、ベーススプライン関数(B-Spline)である。本稿では,B-Spline 活性化関数の学習可能な格子を,重み付けされた正弦関数の格子に置き換えるモデルを提案する。 MNIST ベンチマークでは,B-Spline Kan モデルよりも優れた,あるいは同等の数値性能を示し,さらに 4-8 倍の速度向上を実現している。

関連論文リスト

Sinc Kolmogorov-Arnold Network and Its Applications on Physics-informed Neural Networks [4.61590049339329]
我々は、学習可能なアクティベーション機能を持つニューラルネットワークであるKolmogorov-Arnold Networksの文脈でSincを使用することを提案する。数値解析において、特異点を持つ滑らかな関数と関数の両方をうまく表すことが知られているので、シンは実行可能な代替法を提案する。
論文参考訳（メタデータ） (2024-10-05T09:33:39Z)
Approximation of RKHS Functionals by Neural Networks [30.42446856477086]
ニューラルネットワークを用いたHilbert空間(RKHS)を再現するカーネル上の関数の近似について検討する。逆多重四元数、ガウス、ソボレフのカーネルによって誘導される場合の明示的な誤差境界を導出する。ニューラルネットワークが回帰マップを正確に近似できることを示すため,機能回帰に本研究の成果を適用した。
論文参考訳（メタデータ） (2024-03-18T18:58:23Z)
ENN: A Neural Network with DCT Adaptive Activation Functions [2.2713084727838115]
離散コサイン変換(DCT)を用いて非線形活性化関数をモデル化する新しいモデルであるExpressive Neural Network(ENN)を提案する。このパラメータ化は、トレーニング可能なパラメータの数を低く保ち、勾配ベースのスキームに適合し、異なる学習タスクに適応する。 ENNのパフォーマンスは、いくつかのシナリオにおいて40%以上の精度のギャップを提供する、アートベンチマークの状態を上回ります。
論文参考訳（メタデータ） (2023-07-02T21:46:30Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文参考訳（メタデータ） (2023-02-01T03:18:07Z)
Otimizacao de pesos e funcoes de ativacao de redes neurais aplicadas na previsao de series temporais [0.0]
本稿では,ニューラルネットワークにおける自由パラメータ非対称活性化関数群の利用を提案する。定義された活性化関数の族は普遍近似定理の要求を満たすことを示す。ニューラルネットワークの処理ユニット間の接続の重み付けと自由パラメータを用いたこの活性化関数系のグローバル最適化手法を用いる。
論文参考訳（メタデータ） (2021-07-29T23:32:15Z)
Compressing Deep ODE-Nets using Basis Function Expansions [105.05435207079759]
重みの定式化を基底関数の線形結合を用いた連続深度関数とみなす。この観点では、ほぼ最先端の性能を維持しながら、再トレーニングすることなく、ベースの変化によって重みを圧縮することができる。これにより、推論時間とメモリフットプリントの両方が削減され、計算環境間の高速で厳密な適応が可能となる。
論文参考訳（メタデータ） (2021-06-21T03:04:51Z)
On the spatial attention in Spatio-Temporal Graph Convolutional Networks for skeleton-based human action recognition [97.14064057840089]
カルチャーネットワーク(GCN)は、スケルトンをグラフとしてモデル化することで、スケルトンに基づく人間の行動認識の性能を約束する。最近提案されたG時間に基づく手法のほとんどは、ネットワークの各層におけるグラフ構造を学習することで、性能を向上させる。
論文参考訳（メタデータ） (2020-11-07T19:03:04Z)
Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文参考訳（メタデータ） (2020-06-02T23:38:35Z)
Activation functions are not needed: the ratio net [3.9636371287541086]
本稿では,新しい関数近似器の設計に焦点をあてる。新しいアクティベーション関数やカーネル関数を設計する代わりに、新しい提案されたネットワークは分数形式を使用する。その結果、ほとんどの場合、比率ネットはより速く収束し、分類とRBFの両方を上回っていることがわかった。
論文参考訳（メタデータ） (2020-05-14T01:07:56Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。