Fugu-MT 論文翻訳(概要): SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

論文の概要: SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions

arxiv url: http://arxiv.org/abs/2407.04149v2
Date: Tue, 23 Jul 2024 14:25:08 GMT
ステータス: 処理完了
システム内更新日: 2024-07-24 22:04:29.222642
Title: SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions
Title（参考訳）: SineKAN:正弦波活性化関数を用いたコルモゴロフ・アルノルドネットワーク
Authors: Eric A. F. Reinhardt, P. R. Dinesh, Sergei Gleyzer,
Abstract要約: 本稿では,B-Spline 活性化関数の学習可能な格子を,重み付けされた正弦関数の格子に置き換えるモデルを提案する。 MNISTベンチマークでは,B-Spline Kanモデルよりも優れた,あるいは同等の数値性能を示す。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Recent work has established an alternative to traditional multi-layer perceptron neural networks in the form of Kolmogorov-Arnold Networks (KAN). The general KAN framework uses learnable activation functions on the edges of the computational graph followed by summation on nodes. The learnable edge activation functions in the original implementation are basis spline functions (B-Spline). Here, we present a model in which learnable grids of B-Spline activation functions are replaced by grids of re-weighted sine functions. We show that this leads to better or comparable numerical performance to B-Spline KAN models on the MNIST benchmark, while also providing a substantial speed increase on the order of 4-8 times.
Abstract（参考訳）: 最近の研究は、KAN(Kolmogorov-Arnold Networks)という形で、従来の多層パーセプトロンニューラルネットワークに代わるものを確立している。一般のkanフレームワークは、計算グラフのエッジ上で学習可能なアクティベーション関数を使用し、続いてノード上での集計を行う。元の実装における学習可能なエッジアクティベーション関数は、ベーススプライン関数(B-Spline)である。本稿では,B-Spline 活性化関数の学習可能な格子を,重み付けされた正弦関数の格子に置き換えるモデルを提案する。 MNIST ベンチマークでは,B-Spline Kan モデルよりも優れた,あるいは同等の数値性能を示し,さらに 4-8 倍の速度向上を実現している。

関連論文リスト

KA-GNN: Kolmogorov-Arnold Graph Neural Networks for Molecular Property Prediction [16.53371673077183]
我々は,最初の非自明なKolmogorov-Arnold Networkベースのグラフニューラルネットワーク(KA-GNN)を提案する。基本的な考え方は、Kanのユニークなパワーを活用して、ノードの埋め込み、メッセージパッシング、読み取りを含む3つの主要なレベルでGNNアーキテクチャを最適化することだ。我々のKA-GNNは従来のGNNモデルより優れていることが判明した。
論文参考訳（メタデータ） (2024-10-15T06:44:57Z)
Sinc Kolmogorov-Arnold Network and Its Applications on Physics-informed Neural Networks [4.61590049339329]
我々は、学習可能なアクティベーション機能を持つニューラルネットワークであるKolmogorov-Arnold Networksの文脈でSincを使用することを提案する。数値解析において、特異点を持つ滑らかな関数と関数の両方をうまく表すことが知られているので、シンは実行可能な代替法を提案する。
論文参考訳（メタデータ） (2024-10-05T09:33:39Z)
U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
論文参考訳（メタデータ） (2024-06-05T04:13:03Z)
Globally Optimal Training of Neural Networks with Threshold Activation Functions [63.03759813952481]
しきい値アクティベートを伴うディープニューラルネットワークの重み劣化正規化学習問題について検討した。ネットワークの特定の層でデータセットを破砕できる場合に、簡易な凸最適化の定式化を導出する。
論文参考訳（メタデータ） (2023-03-06T18:59:13Z)
Simple initialization and parametrization of sinusoidal networks via their kernel bandwidth [92.25666446274188]
従来の活性化機能を持つネットワークの代替として、活性化を伴う正弦波ニューラルネットワークが提案されている。まず,このような正弦波ニューラルネットワークの簡易版を提案する。次に、ニューラルタンジェントカーネルの観点からこれらのネットワークの挙動を分析し、そのカーネルが調整可能な帯域幅を持つ低域フィルタを近似することを実証する。
論文参考訳（メタデータ） (2022-11-26T07:41:48Z)
EIGNN: Efficient Infinite-Depth Graph Neural Networks [51.97361378423152]
グラフニューラルネットワーク(GNN)は多くのアプリケーションでグラフ構造化データのモデリングに広く利用されている。この制限により、無限深度GNNモデルを提案し、これをEIGNN(Efficient Infinite-Depth Graph Neural Networks)と呼ぶ。 EIGNNは、最近のベースラインよりも長距離依存関係をキャプチャする能力が優れており、常に最先端のパフォーマンスを実現していることを示す。
論文参考訳（メタデータ） (2022-02-22T08:16:58Z)
Scaling Properties of Deep Residual Networks [2.6763498831034043]
勾配降下法によりトレーニングした重りの性質と, ネットワーク深度によるスケーリングについて, 数値実験により検討した。神経ODE文学で想定されるものとは大きく異なるスケーリング体制の存在を観察する。これらの結果は、ディープResNetの適切な記述として、ニューラルODEモデルの有効性に疑問を投げかけた。
論文参考訳（メタデータ） (2021-05-25T22:31:30Z)
Random Features for the Neural Tangent Kernel [57.132634274795066]
完全接続型ReLUネットワークのニューラルタンジェントカーネル(NTK)の効率的な特徴マップ構築を提案する。得られた特徴の次元は、理論と実践の両方で比較誤差境界を達成するために、他のベースライン特徴マップ構造よりもはるかに小さいことを示しています。
論文参考訳（メタデータ） (2021-04-03T09:08:12Z)
Delay Differential Neural Networks [0.2538209532048866]
遅延微分方程式 (DDE) に触発された新しいモデル, 遅延微分ニューラルネットワーク (DDNN) を提案する。 ddnnのトレーニングには,ネットワーク上での勾配計算とバックプロパゲーションを行うためのメモリ効率の良い随伴法を提案する。 Cifar10やCifar100のような合成および実世界の画像分類データセットで行った実験は、提案モデルの有効性を示した。
論文参考訳（メタデータ） (2020-12-12T12:20:54Z)
Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文参考訳（メタデータ） (2020-04-19T09:43:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。