論文の概要: Combinations of Fast Activation and Trigonometric Functions in Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2508.11876v1
- Date: Sat, 16 Aug 2025 02:22:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-19 14:49:10.432149
- Title: Combinations of Fast Activation and Trigonometric Functions in Kolmogorov-Arnold Networks
- Title(参考訳): Kolmogorov-Arnoldネットワークにおける高速活性化と三角関数の組合せ
- Authors: Hoang-Thang Ta, Duy-Quy Thai, Phuong-Linh Tran-Thi,
- Abstract要約: 我々は、コルモゴロフ・アルノルドネットワーク(KAN)の基底成分として、ReLUや三角関数などの高速計算関数を提案する。
これらの関数の組み合わせをネットワーク構造に統合することにより、計算効率を向上させることを目指している。
- 参考スコア(独自算出の注目度): 2.8954480994149767
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: For years, many neural networks have been developed based on the Kolmogorov-Arnold Representation Theorem (KART), which was created to address Hilbert's 13th problem. Recently, relying on KART, Kolmogorov-Arnold Networks (KANs) have attracted attention from the research community, stimulating the use of polynomial functions such as B-splines and RBFs. However, these functions are not fully supported by GPU devices and are still considered less popular. In this paper, we propose the use of fast computational functions, such as ReLU and trigonometric functions (e.g., ReLU, sin, cos, arctan), as basis components in Kolmogorov-Arnold Networks (KANs). By integrating these function combinations into the network structure, we aim to enhance computational efficiency. Experimental results show that these combinations maintain competitive performance while offering potential improvements in training time and generalization.
- Abstract(参考訳): 長年にわたり、ヒルベルトの13番目の問題に対処するために作られたコルモゴロフ・アルノルド表現理論(KART)に基づいて多くのニューラルネットワークが開発されてきた。
近年,KART(Kolmogorov-Arnold Networks)が注目され,B-splinesやRBFといった多項式関数の利用が促進されている。
しかし、これらの機能はGPUデバイスで完全にはサポートされていない。
本稿では,コルモゴロフ・アルノルドネットワーク(KAN)の基本成分として,ReLUや三角関数(例えば,ReLU, sin, cos, arctan)などの高速計算関数を提案する。
これらの関数の組み合わせをネットワーク構造に統合することにより、計算効率を向上させることを目指している。
実験の結果,これらの組み合わせは,トレーニング時間と一般化の潜在的な改善を図りながら,競争性能を維持していることがわかった。
関連論文リスト
- efunc: An Efficient Function Representation without Neural Networks [46.76882780184126]
本稿では,連続関数モデリングのための新しいフレームワークを提案する。
次に、ニューラルネットワークと複素構造の両方をバイパスするパラメータ効率関数に基づいて、コンパクトな関数表現を導入する。
論文 参考訳(メタデータ) (2025-05-27T15:16:56Z) - Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。
C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。
これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文 参考訳(メタデータ) (2024-09-16T17:54:51Z) - SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
本稿では,B-Splineアクティベーション関数の学習可能なグリッドを,再重み付き正弦関数のグリッド(SineKAN)に置き換えるモデルを提案する。
我々は,B-Spline Kanモデルに匹敵する性能を示すとともに,周期的コサイン関数と正弦関数をベースとしたKAN実装を提案する。
論文 参考訳(メタデータ) (2024-07-04T20:53:19Z) - fKAN: Fractional Kolmogorov-Arnold Networks with trainable Jacobi basis functions [0.0]
ニューラルネットワーク設計の最近の進歩は、KAN(Kolmogorov-Arnold Networks)の発展をもたらした。
本稿では,学習可能な適応型分数-直交ジャコビ関数を基本関数として組み込んだニューラルネットワークアーキテクチャを提案する。
その結果, 分数的ヤコビ関数をkansに組み込むことで, 様々な分野やアプリケーションにおけるトレーニング速度と性能が大幅に向上することが示された。
論文 参考訳(メタデータ) (2024-06-11T17:01:45Z) - Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。
ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
論文 参考訳(メタデータ) (2024-05-12T07:55:43Z) - Are Message Passing Neural Networks Really Helpful for Knowledge Graph
Completion? [49.858038034580005]
単純なモデルでMPNNに匹敵する性能が得られることを示す。
評価関数と損失関数の設計がKGCモデルの性能に強い影響を与えることを示す。
論文 参考訳(メタデータ) (2022-05-21T18:14:52Z) - Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。
一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文 参考訳(メタデータ) (2021-04-12T17:59:16Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳(メタデータ) (2020-04-17T19:12:39Z) - Geometrically Principled Connections in Graph Neural Networks [66.51286736506658]
我々は、幾何学的深層学習の新興分野におけるイノベーションの原動力は、幾何が依然として主要な推進力であるべきだと論じている。
グラフニューラルネットワークとコンピュータグラフィックスとデータ近似モデルとの関係:放射基底関数(RBF)
完全連結層とグラフ畳み込み演算子を組み合わせた新しいビルディングブロックであるアフィンスキップ接続を導入する。
論文 参考訳(メタデータ) (2020-04-06T13:25:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。