論文の概要: MatrixKAN: Parallelized Kolmogorov-Arnold Network

• arxiv url: http://arxiv.org/abs/2502.07176v1
• Date: Tue, 11 Feb 2025 01:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:07:04.545981
• Title: MatrixKAN: Parallelized Kolmogorov-Arnold Network
• Title（参考訳）: MatrixKAN: Kolmogorov-Arnold ネットワークの並列化
• Authors: Cale Coffman, Lizhong Chen,
• Abstract要約: Kolmogorov-Arnold Networks (KAN)は、ニューラルネットワークアーキテクチャの新しいクラスである。 カンは、基礎となるB-スプライン計算の性質によって、再帰に対して遅い訓練と推論速度に悩まされる。 本稿では,B-スプライン計算と行列表現と演算を並列化する新しい最適化であるMatrixKANを提案する。
• 参考スコア（独自算出の注目度）: 4.1180254968265055
• License:
• Abstract: Kolmogorov-Arnold Networks (KAN) are a new class of neural network architecture representing a promising alternative to the Multilayer Perceptron (MLP), demonstrating improved expressiveness and interpretability. However, KANs suffer from slow training and inference speeds relative to MLPs due in part to the recursive nature of the underlying B-spline calculations. This issue is particularly apparent with respect to KANs utilizing high-degree B-splines, as the number of required non-parallelizable recursions is proportional to B-spline degree. We solve this issue by proposing MatrixKAN, a novel optimization that parallelizes B-spline calculations with matrix representation and operations, thus significantly improving effective computation time for models utilizing high-degree B-splines. In this paper, we demonstrate the superior scaling of MatrixKAN's computation time relative to B-spline degree. Further, our experiments demonstrate speedups of approximately 40x relative to KAN, with significant additional speedup potential for larger datasets or higher spline degrees.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN)は、多層パーセプトロン(MLP)の代替として期待できるニューラルネットワークアーキテクチャの新たなクラスであり、表現性と解釈性の向上を示している。 しかし、カンは基礎となるB-スプライン計算の帰納的性質のために、MLPと比較して遅いトレーニングと推論速度に悩まされている。 この問題は、要求される非並列化再帰の数はB-スプライン次数に比例するため、高次B-スプラインを利用するカンについて特に明らかである。 本稿では,B-スプライン計算と行列表現と演算を並列化する新しい最適化であるMatrixKANを提案し,高次B-スプラインを用いたモデルの効率的な計算時間を大幅に改善する。 本稿では,B-spline次数に対するMatrixKANの計算時間の優れたスケーリングを実証する。 さらに,本実験では,Kanと比較して約40倍のスピードアップを示すとともに,より大きなデータセットや高いスプライン度に対する大幅な高速化の可能性を示した。

関連論文リスト

• Canonical Correlation Guided Deep Neural Network [14.188285111418516]
  深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。 提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。 相関による冗長性を低減するために、冗長性フィルタを設計する。
  論文  参考訳（メタデータ） (2024-09-28T16:08:44Z)
• Approximated Likelihood Ratio: A Forward-Only and Parallel Framework for Boosting Neural Network Training [30.452060061499523]
  本稿では、勾配推定における計算およびメモリ要求を軽減するために、LR法を近似する手法を提案する。 ニューラルネットワークトレーニングにおける近似手法の有効性を実験により実証した。
  論文  参考訳（メタデータ） (2024-03-18T23:23:50Z)
• An Efficient Algorithm for Clustered Multi-Task Compressive Sensing [60.70532293880842]
  クラスタ化マルチタスク圧縮センシングは、複数の圧縮センシングタスクを解決する階層モデルである。 このモデルに対する既存の推論アルゴリズムは計算コストが高く、高次元ではうまくスケールしない。 本稿では,これらの共分散行列を明示的に計算する必要をなくし,モデル推論を大幅に高速化するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-09-30T15:57:14Z)
• Towards Memory- and Time-Efficient Backpropagation for Training Spiking Neural Networks [70.75043144299168]
  スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのためのエネルギー効率の高いモデルである。 本研究では,学習効率を大幅に向上させつつ,高い性能を達成できる空間学習時間(SLTT)法を提案する。 BPTTと比較して, メモリコストとトレーニング時間は, それぞれ70%以上, 50%以上削減されている。
  論文  参考訳（メタデータ） (2023-02-28T05:01:01Z)
• Euler State Networks: Non-dissipative Reservoir Computing [3.55810827129032]
  我々はEuSN(Euler State Network)と呼ばれる新しいReservoir Computing(RC)モデルを提案する。 我々の数学的解析は、結果のモデルが一元的有効スペクトル半径とゼロ局所リアプノフ指数に偏り、本質的に安定性の端近くで動作していることを示している。 時系列分類ベンチマークの結果は、EuSNがトレーニング可能なリカレントニューラルネットワークの精度と一致する(あるいは超える)ことを示唆している。
  論文  参考訳（メタデータ） (2022-03-17T15:18:34Z)
• High-Dimensional Sparse Bayesian Learning without Covariance Matrices [66.60078365202867]
  共分散行列の明示的な構成を避ける新しい推論手法を提案する。 本手法では, 数値線形代数と共役勾配アルゴリズムの対角線推定結果とを結合する。 いくつかのシミュレーションにおいて,本手法は計算時間とメモリにおける既存手法よりも拡張性が高い。
  論文  参考訳（メタデータ） (2022-02-25T16:35:26Z)
• Partitioning sparse deep neural networks for scalable training and inference [8.282177703075453]
  最先端のディープニューラルネットワーク(DNN)には、計算とデータ管理の大幅な要件がある。 スパシフィケーション法とプルーニング法は,DNNの大量の接続を除去するのに有効であることが示されている。 その結果得られたスパースネットワークは、ディープラーニングにおけるトレーニングと推論の計算効率をさらに向上するためのユニークな課題を提示する。
  論文  参考訳（メタデータ） (2021-04-23T20:05:52Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Communication-Efficient Distributed Stochastic AUC Maximization with Deep Neural Networks [50.42141893913188]
  本稿では,ニューラルネットワークを用いた大規模AUCのための分散変数について検討する。 我々のモデルは通信ラウンドをはるかに少なくし、理論上はまだ多くの通信ラウンドを必要としています。 いくつかのデータセットに対する実験は、我々の理論の有効性を示し、我々の理論を裏付けるものである。
  論文  参考訳（メタデータ） (2020-05-05T18:08:23Z)
• CWY Parametrization: a Solution for Parallelized Optimization of Orthogonal and Stiefel Matrices [41.57234424773276]
  本稿では,GPUやTPUなどの並列計算ユニット上での直交群に対する効率的な最適化手法を提案する。 さらに、Stiefel多様体のパラメトリゼーションのための新しいTruncated CWY(またはT-CWY)アプローチを開発する。 我々は,ニューラルマシンビデオ予測のタスクにおいて,リカレントニューラルネットワークアーキテクチャのトレーニングに本手法を適用した。
  論文  参考訳（メタデータ） (2020-04-18T17:58:43Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。