論文の概要: Kolmogorov-Arnold Networks are Radial Basis Function Networks
- arxiv url: http://arxiv.org/abs/2405.06721v1
- Date: Fri, 10 May 2024 06:03:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-14 20:15:33.483643
- Title: Kolmogorov-Arnold Networks are Radial Basis Function Networks
- Title(参考訳): Kolmogorov-Arnold Networksは放射基底関数ネットワークである
- Authors: Ziyao Li,
- Abstract要約: 本稿では,KAN(Kolmogorov-Arnold Networks)で使用される3次B-スプラインがガウス半径基底関数によってよく近似できることを示す。
高速な実装であるFastKANは、放射基底関数(RBF)ネットワークでもある。
- 参考スコア(独自算出の注目度): 3.5353632767823506
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This short paper is a fast proof-of-concept that the 3-order B-splines used in Kolmogorov-Arnold Networks (KANs) can be well approximated by Gaussian radial basis functions. Doing so leads to FastKAN, a much faster implementation of KAN which is also a radial basis function (RBF) network.
- Abstract(参考訳): この短い論文は、コルモゴロフ・アルノルドネットワーク(KAN)で使用される3階のB-スプラインがガウス半径基底関数によってうまく近似できるという、高速な概念実証である。
高速な実装であるFastKANは、放射基底関数(RBF)ネットワークでもある。
関連論文リスト
- SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
本稿では,B-Spline 活性化関数の学習可能な格子を,重み付けされた正弦関数の格子に置き換えるモデルを提案する。
MNISTベンチマークでは,B-Spline Kanモデルよりも優れた,あるいは同等の数値性能を示す。
論文 参考訳(メタデータ) (2024-07-04T20:53:19Z) - Novel Kernel Models and Exact Representor Theory for Neural Networks Beyond the Over-Parameterized Regime [52.00917519626559]
本稿では、ニューラルネットワークの2つのモデルと、任意の幅、深さ、トポロジーのニューラルネットワークに適用可能なトレーニングについて述べる。
また、局所外在性神経核(LeNK)の観点から、非正規化勾配降下を伴う階層型ニューラルネットワークトレーニングのための正確な表現子理論を提示する。
この表現論は、ニューラルネットワークトレーニングにおける高次統計学の役割と、ニューラルネットワークのカーネルモデルにおけるカーネル進化の影響について洞察を与える。
論文 参考訳(メタデータ) (2024-05-24T06:30:36Z) - NeuRBF: A Neural Fields Representation with Adaptive Radial Basis
Functions [93.02515761070201]
本稿では,信号表現に一般放射状基底を用いる新しいタイプのニューラルネットワークを提案する。
提案手法は, 空間適応性が高く, ターゲット信号により密着可能な, フレキシブルなカーネル位置と形状を持つ一般ラジアルベース上に構築する。
ニューラルラジアンス場再構成に適用した場合,本手法はモデルサイズが小さく,訓練速度が同等である最先端のレンダリング品質を実現する。
論文 参考訳(メタデータ) (2023-09-27T06:32:05Z) - Data Topology-Dependent Upper Bounds of Neural Network Widths [52.58441144171022]
まず、3層ニューラルネットワークがコンパクトな集合上のインジケータ関数を近似するように設計可能であることを示す。
その後、これは単純複体へと拡張され、その位相構造に基づいて幅の上界が導かれる。
トポロジカルアプローチを用いて3層ReLUネットワークの普遍近似特性を証明した。
論文 参考訳(メタデータ) (2023-05-25T14:17:15Z) - On the universal approximation property of radial basis function neural
networks [0.0]
RBF(Radial Basis Function)ニューラルネットワークの新しいクラスについて検討し、スムーズな要因をシフトに置き換える。
我々は、これらのネットワークが$d$次元ユークリッド空間の任意のコンパクト部分集合上で連続多変量関数を近似できるという条件下で証明する。
有限個の固定セントロイドを持つRBFネットワークに対して、任意の精度で近似を保証する条件を記述する。
論文 参考訳(メタデータ) (2023-04-05T04:20:58Z) - Provable Data Subset Selection For Efficient Neural Network Training [73.34254513162898]
本稿では,任意の放射基底関数ネットワーク上での入力データの損失を近似する,emphRBFNNのコアセットを構成するアルゴリズムについて紹介する。
次に、一般的なネットワークアーキテクチャやデータセット上で、関数近似とデータセットサブセットの選択に関する経験的評価を行う。
論文 参考訳(メタデータ) (2023-03-09T10:08:34Z) - Gradient Descent in Neural Networks as Sequential Learning in RKBS [63.011641517977644]
初期重みの有限近傍にニューラルネットワークの正確な電力系列表現を構築する。
幅にかかわらず、勾配降下によって生成されたトレーニングシーケンスは、正規化された逐次学習によって正確に複製可能であることを証明した。
論文 参考訳(メタデータ) (2023-02-01T03:18:07Z) - Multi-Kernel Fusion for RBF Neural Networks [40.204677814432074]
放射基底関数ニューラルネットワークは、大きなパフォーマンス上の利点をもたらす複数のカーネルを備えている。
本稿では,各カーネルが独自の(ローカル)重みを持つマルチカーネルRBFNNを提案する。
論文 参考訳(メタデータ) (2020-07-06T09:07:16Z) - Neural Splines: Fitting 3D Surfaces with Infinitely-Wide Neural Networks [61.07202852469595]
本稿では,無限幅浅部ReLUネットワークから生じるランダムな特徴カーネルをベースとした3次元表面再構成手法であるNeural Splinesを提案する。
提案手法は,最近のニューラルネットワーク技術より優れ,ポアソン表面再構成に広く用いられている。
論文 参考訳(メタデータ) (2020-06-24T14:54:59Z) - Region-based Energy Neural Network for Approximate Inference [11.732727829723876]
一般マルコフ確率場(MRF)における推論のためのニューラルネットワークに基づくエネルギーモデルを提案する。
メッセージパッシングアルゴリズムとは異なり、我々のモデルであるRerea-based Energy Neural Network (RENN)は反復的なメッセージ伝搬を回避し、より高速である。
MRFの限界分布推定,分割関数推定,学習に関する実験により,RENNは平均場法,ループBP,GBP,最先端ニューラルネットワークモデルよりも優れていた。
論文 参考訳(メタデータ) (2020-06-17T15:14:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。