論文の概要: ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
- arxiv url: http://arxiv.org/abs/2406.02075v2
- Date: Mon, 12 Aug 2024 17:17:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 21:03:04.707440
- Title: ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
- Title(参考訳): ReLU-KAN: 行列加算、ドット乗算、ReLUのみを必要とする新しいKolmogorov-Arnoldネットワーク
- Authors: Qi Qiu, Tao Zhu, Helin Gong, Liming Chen, Huansheng Ning,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) はGPU上での並列計算能力の制限に悩まされている。
本稿では,kanのコアアイデアを継承する新しいReLU-KANの実装を提案する。
実験の結果,ReLU-KANは従来の4層ネットワークのKANと比較して20倍の高速化を実現していることがわかった。
- 参考スコア(独自算出の注目度): 8.248308316205716
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Limited by the complexity of basis function (B-spline) calculations, Kolmogorov-Arnold Networks (KAN) suffer from restricted parallel computing capability on GPUs. This paper proposes a novel ReLU-KAN implementation that inherits the core idea of KAN. By adopting ReLU (Rectified Linear Unit) and point-wise multiplication, we simplify the design of KAN's basis function and optimize the computation process for efficient CUDA computing. The proposed ReLU-KAN architecture can be readily implemented on existing deep learning frameworks (e.g., PyTorch) for both inference and training. Experimental results demonstrate that ReLU-KAN achieves a 20x speedup compared to traditional KAN with 4-layer networks. Furthermore, ReLU-KAN exhibits a more stable training process with superior fitting ability while preserving the "catastrophic forgetting avoidance" property of KAN. You can get the code in https://github.com/quiqi/relu_kan
- Abstract(参考訳): 基底関数(B-スプライン)計算の複雑さによって制限され、KAN(Kolmogorov-Arnold Networks)はGPU上での並列計算能力の制限に悩まされる。
本稿では,kanのコアアイデアを継承する新しいReLU-KANの実装を提案する。
ReLU(Rectified Linear Unit)と点乗算(point-wise multiplication)を採用することにより、kanの基本関数の設計を簡素化し、効率的なCUDA計算のために計算プロセスを最適化する。
提案されているReLU-KANアーキテクチャは、推論とトレーニングの両方に既存のディープラーニングフレームワーク(例えばPyTorch)で容易に実装できる。
実験の結果,ReLU-KANは従来の4層ネットワークのKANと比較して20倍の高速化を実現していることがわかった。
さらに、ReLU-KANは、カンの「破滅的忘れの回避」特性を維持しつつ、より優れた適合能力を有するより安定したトレーニングプロセスを示す。
コードはhttps://github.com/quiqi/relu_kanで取得できます。
関連論文リスト
- Equidistribution-based training of Free Knot Splines and ReLU Neural Networks [0.0]
直交線形ユニット(ReLU)アクティベーション機能を持つ浅層ニューラルネットワーク(NN)を用いた一次元関数近似の問題点を考察する。
ネットワークの幅が大きくなるにつれて,悪条件が急速に低下することを示す。
我々は、ReLU NNのトレーニング手順を改善するために、最適片方向線形補間理論を利用する。
論文 参考訳(メタデータ) (2024-07-02T10:51:36Z) - Fixing the NTK: From Neural Network Linearizations to Exact Convex
Programs [63.768739279562105]
学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。
この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
論文 参考訳(メタデータ) (2023-09-26T17:42:52Z) - A Recursively Recurrent Neural Network (R2N2) Architecture for Learning
Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。
本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文 参考訳(メタデータ) (2022-11-22T16:30:33Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳(メタデータ) (2022-07-04T09:05:25Z) - Fast Convex Optimization for Two-Layer ReLU Networks: Equivalent Model
Classes and Cone Decompositions [41.337814204665364]
ReLUアクティベーション機能を持つ2層ニューラルネットワークの凸最適化アルゴリズムを開発した。
凸ゲート型ReLUモデルでは,ReLUトレーニング問題に対するデータ依存の近似バウンダリが得られることを示す。
論文 参考訳(メタデータ) (2022-02-02T23:50:53Z) - Content-Aware Convolutional Neural Networks [98.97634685964819]
畳み込みニューラルネットワーク(CNN)は、畳み込み層の強力な特徴学習能力によって大きな成功を収めている。
本研究では,スムーズなウィンドウを自動的に検出し,元の大規模カーネルを置き換えるために1x1畳み込みカーネルを適用するContent-aware Convolution (CAC)を提案する。
論文 参考訳(メタデータ) (2021-06-30T03:54:35Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Tight Hardness Results for Training Depth-2 ReLU Networks [38.60407125604287]
ReLUアクティベーション関数を用いた深度2ニューラルネットのトレーニングにおいて,いくつかの硬度結果が得られた。
私たちのゴールは、与えられたトレーニングセットに対する平方損失を最小限に抑えるディープ2ニューラルネットワークを出力することです。
論文 参考訳(メタデータ) (2020-11-27T04:18:00Z) - Quantile regression with deep ReLU Networks: Estimators and minimax
rates [4.522666263036413]
線形整流ユニット(ReLU)ニューラルネットワークを用いた量子レグレッションについて検討する。
ReLUネットワークの期待平均2乗誤差の上限を導出する。
これらの厳密な境界は、量子レグレッションを持つReLUネットワークが、関数型の広いコレクションに対して最小値の速度を達成することを示唆している。
論文 参考訳(メタデータ) (2020-10-16T08:34:04Z) - Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。
我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
論文 参考訳(メタデータ) (2020-06-21T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。