論文の概要: LTBs-KAN: Linear-Time B-splines Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2604.22034v1
- Date: Thu, 23 Apr 2026 19:47:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-27 15:36:26.253032
- Title: LTBs-KAN: Linear-Time B-splines Kolmogorov-Arnold Networks
- Title(参考訳): LTBs-KAN:Linear-Time B-splines Kolmogorov-Arnold Networks
- Authors: Eduardo Said Merin-Martinez, Andres Mendez-Vazquez, Eduardo Rodriguez-Tello,
- Abstract要約: Kolmogorov-Arnold Networks (KAN)は、MLP(Multilayer Perceptrons)に代わる、最近のニューラルネットワークアーキテクチャである。
本研究は,線形複雑度を有する新しいベーススプライン線形時間B-スプラインKolmogorov-Arnold Network (LTBs-KAN)を提案する。
- 参考スコア(独自算出の注目度): 2.224556533789044
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) are a recent neural network architecture offering an alternative to Multilayer Perceptrons (MLPs) with improved explainability and expressibility. However, KANs are significantly slower than MLPs due to the recursive nature of B-spline function computations, limiting their application. This work addresses these issues by proposing a novel base-spline Linear-Time B-splines Kolmogorov-Arnold Network (LTBs-KAN) with linear complexity. Unlike previous methods that rely on the Boor-Mansfield-Cox spline algorithm or other computationally intensive mathematical functions, our approach significantly reduces the computational burden. Additionally, we further reduce model's parameter through product-of-sums matrix factorization in the forward pass without sacrificing performance. Experiments on MNIST, Fashion-MNIST and CIFAR-10 demonstrate that LTBs-KAN achieves good time complexity and parameter reduction, when used as building architectural blocks, compared to other KAN implementations.
- Abstract(参考訳): Kolmogorov-Arnold Networks(KAN)は、マルチレイヤパーセプトロン(MLP)に代わる、説明性と表現性の向上を備えた、最近のニューラルネットワークアーキテクチャである。
しかし、KanはB-spline関数の再帰的な性質のため、MPPよりも大幅に遅いため、その応用は制限される。
この研究は、線形複雑性を持つ新しいベーススプラインの線形時間B-スプラインKolmogorov-Arnold Network(LTBs-KAN)を提案することで、これらの問題に対処する。
Boor-Mansfield-Coxスプラインアルゴリズムや他の計算集約的な数学的関数に依存する従来の手法とは異なり、我々の手法は計算負担を大幅に削減する。
さらに,フォワードパスにおける積行列分解により,性能を犠牲にすることなくモデルパラメータをさらに削減する。
MNIST、Fashion-MNIST、CIFAR-10の実験により、LCBs-KANはアーキテクチャブロックを構築する際に、他のKAN実装と比較して、良い時間複雑性とパラメータ還元を達成することを示した。
関連論文リスト
- Don't Be Greedy, Just Relax! Pruning LLMs via Frank-Wolfe [61.68406997155879]
State-of-the-art Large Language Model (LLM) プルーニング手法は階層的に動作し、階層ごとのプルーニングエラーを最小限に抑え、完全な再トレーニングを回避する。
既存の手法は、刈り上げ対象の重量相互作用を無視する欲求凸に依存する。
提案手法は, 層ごとのプルーニング誤差を大幅に低減し, 最先端のGPTアーキテクチャにおいて高いベースラインを達成し, メモリ効率を保っている。
論文 参考訳(メタデータ) (2025-10-15T16:13:44Z) - Degree-Optimized Cumulative Polynomial Kolmogorov-Arnold Networks [0.0]
Kolmogorov-Arnold Network (CP-KAN) はチェビシェフ基底関数と2次非制約バイナリ最適化(QUBO)を組み合わせたニューラルネットワークである。
コントリビューションでは、次数選択問題をQUBOタスクとして再構成し、複雑性を$O($N)から1層当たりの最適化ステップに短縮する。
このアーキテクチャは、限られたデータを持つ回帰タスクにおいてよく機能し、入力スケールと自然な正規化特性を基礎として、優れた堅牢性を示す。
論文 参考訳(メタデータ) (2025-05-21T07:59:12Z) - MatrixKAN: Parallelized Kolmogorov-Arnold Network [4.1180254968265055]
Kolmogorov-Arnold Networks (KAN)は、ニューラルネットワークアーキテクチャの新しいクラスである。
カンは、基礎となるB-スプライン計算の性質によって、再帰に対して遅い訓練と推論速度に悩まされる。
本稿では,B-スプライン計算と行列表現と演算を並列化する新しい最適化であるMatrixKANを提案する。
論文 参考訳(メタデータ) (2025-02-11T01:59:46Z) - Free-Knots Kolmogorov-Arnold Network: On the Analysis of Spline Knots and Advancing Stability [16.957071012748454]
Kolmogorov-Arnold Neural Networks (KAN)は、機械学習コミュニティにおいて大きな注目を集めている。
しかしながら、それらの実装はトレーニングの安定性が悪く、重いトレーニング可能なパラメータに悩まされることが多い。
本研究では, スプラインノットのレンズによるカンの挙動を解析し, B-スプライン系カンの結び目数に対する上下境界を導出する。
論文 参考訳(メタデータ) (2025-01-16T04:12:05Z) - Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。
LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。
提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
論文 参考訳(メタデータ) (2023-08-23T10:48:28Z) - Improved Model based Deep Learning using Monotone Operator Learning
(MOL) [25.077510176642807]
アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。
我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。
並列MRIにおける提案手法の有用性を実証する。
論文 参考訳(メタデータ) (2021-11-22T17:42:27Z) - Efficient Micro-Structured Weight Unification and Pruning for Neural
Network Compression [56.83861738731913]
ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。
既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。
ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
論文 参考訳(メタデータ) (2021-06-15T17:22:59Z) - Improved Branch and Bound for Neural Network Verification via Lagrangian
Decomposition [161.09660864941603]
ニューラルネットワークの入出力特性を公式に証明するためのブランチとバウンド(BaB)アルゴリズムのスケーラビリティを改善します。
活性化に基づく新しい分岐戦略とBaBフレームワークであるブランチとデュアルネットワーク境界(BaDNB)を提案する。
BaDNBは、従来の完全検証システムを大きなマージンで上回り、対数特性で平均検証時間を最大50倍に削減した。
論文 参考訳(メタデータ) (2021-04-14T09:22:42Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。