論文の概要: Want to train KANS at scale? Now UKAN!

• arxiv url: http://arxiv.org/abs/2408.11200v3
• Date: Wed, 08 Oct 2025 14:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:19.957414
• Title: Want to train KANS at scale? Now UKAN!
• Title（参考訳）: カンサを大規模に訓練したい?今、UKAN!
• Authors: Alireza Moradzadeh, Srimukh Prasad Veccham, Lukasz Wawrzyniak, Miles Macklin, Saee G. Paliwal,
• Abstract要約: 我々は、従来のコルモゴロフ・アルノルドネットワーク(KAN)における有界グリッドの必要性を取り除く方法であるUnbounded Kolmogorov-Arnold Networks (UKANs)を提案する。 UKANは、グリッドグループの位置符号化をCGモデルに入力することで、カンと多層パーセプトロンを結合し、データ正規化を必要とせずに非有界領域上の関数近似を可能にする。
• 参考スコア（独自算出の注目度）: 2.9666099400348607
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) have recently emerged as a powerful alternative to traditional multilayer perceptrons. However, their reliance on predefined, bounded grids restricts their ability to approximate functions on unbounded domains. To address this, we present Unbounded Kolmogorov-Arnold Networks (UKANs), a method that removes the need for bounded grids in traditional Kolmogorov-Arnold Networks (KANs). The key innovation of this method is a coefficient-generator (CG) model that produces, on the fly, only the B-spline coefficients required locally on an unbounded symmetric grid. UKANs couple multilayer perceptrons with KANs by feeding the positional encoding of grid groups into the CG model, enabling function approximation on unbounded domains without requiring data normalization. To reduce the computational cost of both UKANs and KANs, we introduce a GPU-accelerated library that lowers B-spline evaluation complexity by a factor proportional to the grid size, enabling large-scale learning by leveraging efficient memory management, in line with recent software advances such as FlashAttention and FlashFFTConv. Performance benchmarking confirms the superior memory and computational efficiency of our accelerated KAN (warpKAN), and UKANs, showing a 3-30x speed-up and up to 1000x memory reduction compared to vanilla KANs. Experiments on regression, classification, and generative tasks demonstrate the effectiveness of UKANs to match or surpass KAN accuracy. Finally, we use both accelerated KAN and UKAN in a molecular property prediction task, establishing the feasibility of large-scale end-to-end training with our optimized implementation.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、最近、従来の多層パーセプトロンの強力な代替品として登場した。 しかし、事前定義された有界格子への依存は、非有界領域上の関数を近似する能力を制限している。 これを解決するために、従来のコルモゴロフ・アルノルドネットワーク(KAN)における有界グリッドの必要性を取り除く方法であるUnbounded Kolmogorov-Arnold Networks (UKANs)を提案する。 この方法の重要な革新は、非有界対称格子上で局所的に要求されるB-スプライン係数のみを生成する係数生成子(CG)モデルである。 UKANは、グリッドグループの位置符号化をCGモデルに入力することで、カンと多層パーセプトロンを結合し、データ正規化を必要とせずに非有界領域上の関数近似を可能にする。 本稿では,UKANとKANSAの計算コストを削減するために,B-スプライン評価の複雑さをグリッドサイズに比例する要因で低減し,FlashAttentionやFlashFFTConvといった最近のソフトウェア進歩に則って,効率的なメモリ管理を活用することで大規模学習を可能にするGPU高速化ライブラリを提案する。 性能ベンチマークにより、高速化したkan(warpKAN)とUKANのメモリ効率と計算効率が向上し、330倍の高速化と最大1000倍のメモリ削減を実現した。 回帰、分類、生成タスクに関する実験は、UKANがケンの精度に適合または超える効果を示す。 最後に, 分子特性予測タスクにおいて, 加速KANとUKANの両方を併用し, 大規模エンドツーエンドトレーニングの実現可能性を確立した。

関連論文リスト

• LASE: Learned Adjacency Spectral Embeddings [7.612218105739107]
  グラフ入力から結節隣接スペクトル埋め込み(ASE)を学習する。 LASEは解釈可能で、パラメータ効率が高く、未観測のエッジを持つ入力に対して堅牢である。 LASEレイヤは、Graph Convolutional Network (GCN)と完全に接続されたGraph Attention Network (GAT)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-23T17:35:19Z)
• SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
  本稿では,B-Splineアクティベーション関数の学習可能なグリッドを,再重み付き正弦関数のグリッド(SineKAN)に置き換えるモデルを提案する。 我々は,B-Spline Kanモデルに匹敵する性能を示すとともに,周期的コサイン関数と正弦関数をベースとしたKAN実装を提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:53:19Z)
• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• RCC-GAN: Regularized Compound Conditional GAN for Large-Scale Tabular Data Synthesis [7.491711487306447]
  本稿では,大規模データベースを合成するためのGAN(Generative Adversarial Network)を提案する。 本稿では,ベクトルを二分的特徴と離散的特徴を同時に組み込むための新しい定式化を提案する。 本稿では、トレーニング中に、その重みベクトルにおける前例のない変動を制限するための正規化スキームを提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:14:59Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• Stochastic Bundle Adjustment for Efficient and Scalable 3D Reconstruction [43.736296034673124]
  カメラ数に比例したReduced Camera System(RCS)を解く際のボトルネックによって、Levenberg-Marquardt (LM)アルゴリズムのような現在のバンドル調整ソルバが制限される。 本稿では,CS を LM のほぼ内部で分解し,効率と拡張性を向上するバンドル調整アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-02T10:26:09Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。