論文の概要: ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU

• arxiv url: http://arxiv.org/abs/2406.02075v2
• Date: Mon, 12 Aug 2024 17:17:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 21:03:04.707440
• Title: ReLU-KAN: New Kolmogorov-Arnold Networks that Only Need Matrix Addition, Dot Multiplication, and ReLU
• Title（参考訳）: ReLU-KAN: 行列加算、ドット乗算、ReLUのみを必要とする新しいKolmogorov-Arnoldネットワーク
• Authors: Qi Qiu, Tao Zhu, Helin Gong, Liming Chen, Huansheng Ning,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) はGPU上での並列計算能力の制限に悩まされている。 本稿では,kanのコアアイデアを継承する新しいReLU-KANの実装を提案する。 実験の結果,ReLU-KANは従来の4層ネットワークのKANと比較して20倍の高速化を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 8.248308316205716
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Limited by the complexity of basis function (B-spline) calculations, Kolmogorov-Arnold Networks (KAN) suffer from restricted parallel computing capability on GPUs. This paper proposes a novel ReLU-KAN implementation that inherits the core idea of KAN. By adopting ReLU (Rectified Linear Unit) and point-wise multiplication, we simplify the design of KAN's basis function and optimize the computation process for efficient CUDA computing. The proposed ReLU-KAN architecture can be readily implemented on existing deep learning frameworks (e.g., PyTorch) for both inference and training. Experimental results demonstrate that ReLU-KAN achieves a 20x speedup compared to traditional KAN with 4-layer networks. Furthermore, ReLU-KAN exhibits a more stable training process with superior fitting ability while preserving the "catastrophic forgetting avoidance" property of KAN. You can get the code in https://github.com/quiqi/relu_kan
• Abstract（参考訳）: 基底関数(B-スプライン)計算の複雑さによって制限され、KAN(Kolmogorov-Arnold Networks)はGPU上での並列計算能力の制限に悩まされる。 本稿では,kanのコアアイデアを継承する新しいReLU-KANの実装を提案する。 ReLU(Rectified Linear Unit)と点乗算(point-wise multiplication)を採用することにより、kanの基本関数の設計を簡素化し、効率的なCUDA計算のために計算プロセスを最適化する。 提案されているReLU-KANアーキテクチャは、推論とトレーニングの両方に既存のディープラーニングフレームワーク(例えばPyTorch)で容易に実装できる。 実験の結果,ReLU-KANは従来の4層ネットワークのKANと比較して20倍の高速化を実現していることがわかった。 さらに、ReLU-KANは、カンの「破滅的忘れの回避」特性を維持しつつ、より優れた適合能力を有するより安定したトレーニングプロセスを示す。 コードはhttps://github.com/quiqi/relu_kanで取得できます。

関連論文リスト

• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library [3.280949929037072]
  我々はKAN(Kolmogorov-Arnold Networks)の基礎となるコンポーネントのためのGPU加速ライブラリを提案する。 このライブラリは、既存のコードと比較して$mathcalO$(grid size)の係数でBasis Spline評価の計算複雑性を低減する。 予測可能な回帰,分類,生成タスクについて,いくつかの実験を行った。
  論文  参考訳（メタデータ） (2024-08-20T21:20:38Z)
• Higher-order-ReLU-KANs (HRKANs) for solving physics-informed neural networks (PINNs) more accurately, robustly and faster [1.6574413179773761]
  新しいタイプのニューラルネットワークモデルであるコルモゴロフ・アルノルドネットワーク(KAN)が、MLP(Multilayer Perceptions)の代替として提案されている。 適合精度を高めるため、ReLU-KANと呼ばれるカンの修正が提案されている。 本研究では, アクティベーション関数であるHigherorder-ReLU(HR)について提案する。
  論文  参考訳（メタデータ） (2024-08-09T03:50:58Z)
• Fixing the NTK: From Neural Network Linearizations to Exact Convex Programs [63.768739279562105]
  学習目標に依存しない特定のマスクウェイトを選択する場合、このカーネルはトレーニングデータ上のゲートReLUネットワークのNTKと等価であることを示す。 この目標への依存の欠如の結果として、NTKはトレーニングセット上の最適MKLカーネルよりもパフォーマンスが良くない。
  論文  参考訳（メタデータ） (2023-09-26T17:42:52Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Tight Hardness Results for Training Depth-2 ReLU Networks [38.60407125604287]
  ReLUアクティベーション関数を用いた深度2ニューラルネットのトレーニングにおいて,いくつかの硬度結果が得られた。 私たちのゴールは、与えられたトレーニングセットに対する平方損失を最小限に抑えるディープ2ニューラルネットワークを出力することです。
  論文  参考訳（メタデータ） (2020-11-27T04:18:00Z)
• Quantile regression with deep ReLU Networks: Estimators and minimax rates [4.522666263036413]
  線形整流ユニット(ReLU)ニューラルネットワークを用いた量子レグレッションについて検討する。 ReLUネットワークの期待平均2乗誤差の上限を導出する。 これらの厳密な境界は、量子レグレッションを持つReLUネットワークが、関数型の広いコレクションに対して最小値の速度を達成することを示唆している。
  論文  参考訳（メタデータ） (2020-10-16T08:34:04Z)
• Efficient Integer-Arithmetic-Only Convolutional Neural Networks [87.01739569518513]
  我々は従来のReLUを境界ReLUに置き換え、その減少は活性化量子化によるものであることを示す。 我々の整数ネットワークは、対応するFPNネットワークと同等の性能を発揮するが、メモリコストは1/4に過ぎず、最新のGPUでは2倍高速である。
  論文  参考訳（メタデータ） (2020-06-21T08:23:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。