論文の概要: UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library

• arxiv url: http://arxiv.org/abs/2408.11200v2
• Date: Wed, 18 Sep 2024 17:46:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-09-19 22:32:32.531198
• Title: UKAN: Unbound Kolmogorov-Arnold Network Accompanied with Accelerated Library
• Title（参考訳）: UKAN: Unbound Kolmogorov-Arnold Network with Accelerated Library
• Authors: Alireza Moradzadeh, Lukasz Wawrzyniak, Miles Macklin, Saee G. Paliwal,
• Abstract要約: 我々はKAN(Kolmogorov-Arnold Networks)の基礎となるコンポーネントのためのGPU加速ライブラリを提案する。 このライブラリは、既存のコードと比較して$mathcalO$(grid size)の係数でBasis Spline評価の計算複雑性を低減する。 予測可能な回帰,分類,生成タスクについて,いくつかの実験を行った。
• 参考スコア（独自算出の注目度）: 3.280949929037072
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we present a GPU-accelerated library for the underlying components of Kolmogorov-Arnold Networks (KANs), along with an algorithm to eliminate bounded grids in KANs. The GPU-accelerated library reduces the computational complexity of Basis Spline (B-spline) evaluation by a factor of $\mathcal{O}$(grid size) compared to existing codes, enabling batch computation for large-scale learning. To overcome the limitations of traditional KANs, we introduce Unbounded KANs (UKANs), which eliminate the need for a bounded grid and a fixed number of B-spline coefficients. To do so, we replace the KAN parameters (B-spline coefficients) with a coefficient generator (CG) model. The inputs to the CG model are designed based on the idea of an infinite symmetric grid extending from negative infinity to positive infinity. The positional encoding of grid group, a sequential collection of B-spline grid indexes, is fed into the CG model, and coefficients are consumed by the efficient implementation (matrix representations) of B-spline functions to generate outputs. We perform several experiments on regression, classification, and generative tasks, which are promising. In particular, UKAN does not require data normalization or a bounded domain for evaluation. Additionally, our benchmarking results indicate the superior memory and computational efficiency of our library compared to existing codes.
• Abstract（参考訳）: 本研究では,Kolmogorov-Arnold Networks(KAN)の基盤となるコンポーネントに対するGPU高速化ライブラリと,kansの有界グリッドを除去するアルゴリズムを提案する。 GPU加速ライブラリは、既存のコードと比較して$\mathcal{O}$(grid size)の係数でBasis Spline(B-spline)評価の計算複雑性を低減し、大規模学習のためのバッチ計算を可能にする。 従来のカンの限界を克服するために,有界格子と定数のB-スプライン係数を不要とするアンバウンドカン(UKAN)を導入する。 そこで我々は,KAパラメータ(B-スプライン係数)を係数生成器(CG)モデルに置き換える。 CGモデルへの入力は、負の無限大から正の無限大まで広がる無限対称格子の概念に基づいて設計される。 B-スプライングリッドインデックスの逐次収集であるグリッド群の位置符号化をCGモデルに入力し、B-スプライン関数の効率的な実装(行列表現)によって係数を消費して出力を生成する。 予測可能な回帰,分類,生成タスクについて,いくつかの実験を行った。 特に、UKANは評価のためにデータ正規化や有界領域を必要としない。 さらに,ベンチマークの結果から,既存のコードと比較して,ライブラリのメモリ効率と計算効率が優れていることが示された。

関連論文リスト

• TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions [0.5097809301149341]
  我々は,計算効率とコルモゴロフ・アルノルドネットワーク(KAN)の原理の遵守のトレードオフに対処するためにTruKANを提案する。 TruKan は Kan の B-スプライン基底を k-次理論から導かれる切り離されたパワー関数の族に置き換える。 全体として、TruKANは複雑な視覚タスクにおいて精度、計算効率、メモリ使用量で他のkanモデルより優れている。
  論文  参考訳（メタデータ） (2026-02-02T19:33:02Z)
• EUGens: Efficient, Unified, and General Dense Layers [56.498769704575544]
  我々は、標準完全連結フィードフォワード層、textbfEfficient、 textbfUnimat、 textbfGeneral dense layer (EUGens) を一般化する新しい階層のクラスを提案する。 EUGensはランダムな特徴を活用して標準的なFFLを近似し、その計算に入力ノルムに直接的な依存を組み込むことによってそれらを超える。
  論文  参考訳（メタデータ） (2026-01-30T05:01:03Z)
• From GNNs to Symbolic Surrogates via Kolmogorov-Arnold Networks for Delay Prediction [3.571534406261392]
  我々は、注目に基づくメッセージパッシングを備えた異種GNNを実装し、強力なニューラルベースラインを確立する。 第二に、Kolmogorov-Arnold Networksが標準レイヤを置き換え、トレーニング可能なパラメータを減らすFlowKANetを提案する。 第三に、ブロックワイド回帰を用いてモデルをシンボリック・サロゲートモデルに蒸留し、訓練可能な計算を排除した閉形式方程式を生成する。
  論文  参考訳（メタデータ） (2025-12-24T02:05:46Z)
• K-DAREK: Distance Aware Error for Kurkova Kolmogorov Networks [3.460138063155115]
  我々はクルコバ・コルモゴロフネットワーク(K-DAREK)に対する新しい学習アルゴリズムを開発した。 提案手法は,距離を意識した頑健な誤差境界を確立する。つまり,テストポイントから最寄りのトレーニングポイントまでの距離を反映する。
  論文  参考訳（メタデータ） (2025-10-24T20:49:59Z)
• Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
  大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。 NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。 我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
  論文  参考訳（メタデータ） (2025-09-22T15:13:14Z)
• LASE: Learned Adjacency Spectral Embeddings [7.612218105739107]
  グラフ入力から結節隣接スペクトル埋め込み(ASE)を学習する。 LASEは解釈可能で、パラメータ効率が高く、未観測のエッジを持つ入力に対して堅牢である。 LASEレイヤは、Graph Convolutional Network (GCN)と完全に接続されたGraph Attention Network (GAT)モジュールを組み合わせる。
  論文  参考訳（メタデータ） (2024-12-23T17:35:19Z)
• Kolmogorov-Arnold Transformer [72.88137795439407]
  Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。 C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。 これらの設計により、KATは従来のトランスフォーマーよりも優れている。
  論文  参考訳（メタデータ） (2024-09-16T17:54:51Z)
• SineKAN: Kolmogorov-Arnold Networks Using Sinusoidal Activation Functions [0.0]
  本稿では,B-Splineアクティベーション関数の学習可能なグリッドを,再重み付き正弦関数のグリッド(SineKAN)に置き換えるモデルを提案する。 我々は,B-Spline Kanモデルに匹敵する性能を示すとともに,周期的コサイン関数と正弦関数をベースとしたKAN実装を提案する。
  論文  参考訳（メタデータ） (2024-07-04T20:53:19Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Adaptive Federated Pruning in Hierarchical Wireless Networks [69.6417645730093]
  Federated Learning(FL)は、サーバがプライベートデータセットにアクセスすることなく、複数のデバイスによって更新されたモデルを集約する、プライバシ保護の分散学習フレームワークである。 本稿では,無線ネットワークにおけるHFLのモデルプルーニングを導入し,ニューラルネットワークの規模を小さくする。 提案するHFLは,モデルプルーニングを伴わないHFLと比較して学習精度が良く,通信コストが約50%削減できることを示す。
  論文  参考訳（メタデータ） (2023-05-15T22:04:49Z)
• On Model Compression for Neural Networks: Framework, Algorithm, and Convergence Guarantee [21.818773423324235]
  本稿では,低ランク近似と重み近似の2つのモデル圧縮手法に焦点を当てた。 本稿では,非最適化の新たな視点から,モデル圧縮のための全体論的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-13T02:14:42Z)
• EGRC-Net: Embedding-induced Graph Refinement Clustering Network [66.44293190793294]
  埋め込みによるグラフリファインメントクラスタリングネットワーク (EGRC-Net) という新しいグラフクラスタリングネットワークを提案する。 EGRC-Netは学習した埋め込みを利用して初期グラフを適応的に洗練し、クラスタリング性能を向上させる。 提案手法はいくつかの最先端手法より一貫して優れている。
  論文  参考訳（メタデータ） (2022-11-19T09:08:43Z)
• Sample-Then-Optimize Batch Neural Thompson Sampling [50.800944138278474]
  我々はトンプソンサンプリング(TS)ポリシーに基づくブラックボックス最適化のための2つのアルゴリズムを提案する。 入力クエリを選択するには、NNをトレーニングし、トレーニングされたNNを最大化してクエリを選択するだけです。 我々のアルゴリズムは、大きなパラメータ行列を逆転する必要性を助長するが、TSポリシーの妥当性は保たれている。
  論文  参考訳（メタデータ） (2022-10-13T09:01:58Z)
• RCC-GAN: Regularized Compound Conditional GAN for Large-Scale Tabular Data Synthesis [7.491711487306447]
  本稿では,大規模データベースを合成するためのGAN(Generative Adversarial Network)を提案する。 本稿では,ベクトルを二分的特徴と離散的特徴を同時に組み込むための新しい定式化を提案する。 本稿では、トレーニング中に、その重みベクトルにおける前例のない変動を制限するための正規化スキームを提案する。
  論文  参考訳（メタデータ） (2022-05-24T01:14:59Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Improved Branch and Bound for Neural Network Verification via Lagrangian Decomposition [161.09660864941603]
  ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。 活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。 BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
  論文  参考訳（メタデータ） (2021-04-14T09:22:42Z)
• Adaptive Filters and Aggregator Fusion for Efficient Graph Convolutions [11.769185588579488]
  本稿では,アクセル実装に適した特性とともに,メモリ消費と遅延を低減した最先端性能を示す。 提案手法は,エッジ数に比例するメモリを必要とする競合手法とは対照的に,グラフ内の頂点数に比例するメモリを用いる。 GNNが表現力を大幅に高める技術であるアグリゲーター融合を提案し、標準のスパース行列乗算よりも19%の遅延がわずかに増加している。
  論文  参考訳（メタデータ） (2021-04-03T20:54:36Z)
• Self Sparse Generative Adversarial Networks [73.590634413751]
  GAN(Generative Adversarial Networks)は、敵対的トレーニングを通じてデータ分布を学習する監視されていない生成モデルである。 本論文では,パラメータ空間を小さくし,ゼロ勾配問題を軽減するSelf Sparse Generative Adversarial Network (Self-Sparse GAN)を提案する。
  論文  参考訳（メタデータ） (2021-01-26T04:49:12Z)
• Berrut Approximated Coded Computing: Straggler Resistance Beyond Polynomial Computing [34.69732430310801]
  本稿では,ストラグラー効果に対処する代替手法として,Berrut Approximated Coded Computing (BACC)を提案する。 BACCは計算複雑性が低い数値的に安定であることが証明されている。 特に、BACCは、サーバのクラスタ上でディープニューラルネットワークをトレーニングするために使用される。
  論文  参考訳（メタデータ） (2020-09-17T14:23:38Z)
• Stochastic Bundle Adjustment for Efficient and Scalable 3D Reconstruction [43.736296034673124]
  カメラ数に比例したReduced Camera System(RCS)を解く際のボトルネックによって、Levenberg-Marquardt (LM)アルゴリズムのような現在のバンドル調整ソルバが制限される。 本稿では,CS を LM のほぼ内部で分解し,効率と拡張性を向上するバンドル調整アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-08-02T10:26:09Z)
• Revisiting Graph based Collaborative Filtering: A Linear Residual Graph Convolutional Network Approach [55.44107800525776]
  グラフ畳み込みネットワーク(GCN)は、最先端のグラフベースの表現学習モデルである。 本稿では、GCNベースの協調フィルタリング(CF)ベースのレコメンダシステム(RS)について再検討する。 単純なグラフ畳み込みネットワークの理論と整合して,非線形性を取り除くことで推奨性能が向上することを示す。 本稿では,ユーザ・イテム相互作用モデリングを用いたCF用に特別に設計された残差ネットワーク構造を提案する。
  論文  参考訳（メタデータ） (2020-01-28T04:41:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。