論文の概要: UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library

• arxiv url: http://arxiv.org/abs/2408.11200v2
• Date: Wed, 18 Sep 2024 17:46:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-19 22:32:32.531198
• Title: UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library
• Title（参考訳）: UKAN: Unbound Kolmogorov-Arnold Network with Accelerated Library
• Authors: Alireza Moradzadeh, Lukasz Wawrzyniak, Miles Macklin, Saee G. Paliwal,
• Abstract要約: 我々はKAN(Kolmogorov-Arnold Networks)の基礎となるコンポーネントのためのGPU加速ライブラリを提案する。 このライブラリは、既存のコードと比較して$mathcalO$(grid size)の係数でBasis Spline評価の計算複雑性を低減する。 予測可能な回帰,分類,生成タスクについて,いくつかの実験を行った。
• 参考スコア（独自算出の注目度）: 3.280949929037072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present a GPU-accelerated library for the underlying components of Kolmogorov-Arnold Networks (KANs), along with an algorithm to eliminate bounded grids in KANs. The GPU-accelerated library reduces the computational complexity of Basis Spline (B-spline) evaluation by a factor of $\mathcal{O}$(grid size) compared to existing codes, enabling batch computation for large-scale learning. To overcome the limitations of traditional KANs, we introduce Unbounded KANs (UKANs), which eliminate the need for a bounded grid and a fixed number of B-spline coefficients. To do so, we replace the KAN parameters (B-spline coefficients) with a coefficient generator (CG) model. The inputs to the CG model are designed based on the idea of an infinite symmetric grid extending from negative infinity to positive infinity. The positional encoding of grid group, a sequential collection of B-spline grid indexes, is fed into the CG model, and coefficients are consumed by the efficient implementation (matrix representations) of B-spline functions to generate outputs. We perform several experiments on regression, classification, and generative tasks, which are promising. In particular, UKAN does not require data normalization or a bounded domain for evaluation. Additionally, our benchmarking results indicate the superior memory and computational efficiency of our library compared to existing codes.
• Abstract（参考訳）: 本研究では,Kolmogorov-Arnold Networks(KAN)の基盤となるコンポーネントに対するGPU高速化ライブラリと,kansの有界グリッドを除去するアルゴリズムを提案する。 GPU加速ライブラリは、既存のコードと比較して$\mathcal{O}$(grid size)の係数でBasis Spline(B-spline)評価の計算複雑性を低減し、大規模学習のためのバッチ計算を可能にする。 従来のカンの限界を克服するために,有界格子と定数のB-スプライン係数を不要とするアンバウンドカン(UKAN)を導入する。 そこで我々は,KAパラメータ(B-スプライン係数)を係数生成器(CG)モデルに置き換える。 CGモデルへの入力は、負の無限大から正の無限大まで広がる無限対称格子の概念に基づいて設計される。 B-スプライングリッドインデックスの逐次収集であるグリッド群の位置符号化をCGモデルに入力し、B-スプライン関数の効率的な実装(行列表現)によって係数を消費して出力を生成する。 予測可能な回帰,分類,生成タスクについて,いくつかの実験を行った。 特に、UKANは評価のためにデータ正規化や有界領域を必要としない。 さらに,ベンチマークの結果から,既存のコードと比較して,ライブラリのメモリ効率と計算効率が優れていることが示された。

関連論文リスト

• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• RCC-GAN: Regularized Compound Conditional GAN for Large-Scale Tabular Data Synthesis [7.491711487306447]
  本稿では,大規模データベースを合成するためのGAN(Generative Adversarial Network)を提案する。 本稿では,ベクトルを二分的特徴と離散的特徴を同時に組み込むための新しい定式化を提案する。 本稿では、トレーニング中に、その重みベクトルにおける前例のない変動を制限するための正規化スキームを提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:14:59Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• Stochastic Bundle Adjustment for Efficient and Scalable 3D Reconstruction [43.736296034673124]
  カメラ数に比例したReduced Camera System(RCS)を解く際のボトルネックによって、Levenberg-Marquardt (LM)アルゴリズムのような現在のバンドル調整ソルバが制限される。 本稿では,CS を LM のほぼ内部で分解し,効率と拡張性を向上するバンドル調整アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-02T10:26:09Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。