論文の概要: TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions
- arxiv url: http://arxiv.org/abs/2602.03879v1
- Date: Mon, 02 Feb 2026 19:33:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-05 19:45:11.191389
- Title: TruKAN: Towards More Efficient Kolmogorov-Arnold Networks Using Truncated Power Functions
- Title(参考訳): TruKAN: トランクパワー関数を用いたより効率的なコルモゴロフ・アルノルドネットワークを目指して
- Authors: Ali Bayeh, Samira Sadaoui, Malek Mouhoub,
- Abstract要約: 我々は,計算効率とコルモゴロフ・アルノルドネットワーク(KAN)の原理の遵守のトレードオフに対処するためにTruKANを提案する。
TruKan は Kan の B-スプライン基底を k-次理論から導かれる切り離されたパワー関数の族に置き換える。
全体として、TruKANは複雑な視覚タスクにおいて精度、計算効率、メモリ使用量で他のkanモデルより優れている。
- 参考スコア(独自算出の注目度): 0.5097809301149341
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To address the trade-off between computational efficiency and adherence to Kolmogorov-Arnold Network (KAN) principles, we propose TruKAN, a new architecture based on the KAN structure and learnable activation functions. TruKAN replaces the B-spline basis in KAN with a family of truncated power functions derived from k-order spline theory. This change maintains the KAN's expressiveness while enhancing accuracy and training time. Each TruKAN layer combines a truncated power term with a polynomial term and employs either shared or individual knots. TruKAN exhibits greater interpretability than other KAN variants due to its simplified basis functions and knot configurations. By prioritizing interpretable basis functions, TruKAN aims to balance approximation efficacy with transparency. We develop the TruKAN model and integrate it into an advanced EfficientNet-V2-based framework, which is then evaluated on computer vision benchmark datasets. To ensure a fair comparison, we develop various models: MLP-, KAN-, SineKAN and TruKAN-based EfficientNet frameworks and assess their training time and accuracy across small and deep architectures. The training phase uses hybrid optimization to improve convergence stability. Additionally, we investigate layer normalization techniques for all the models and assess the impact of shared versus individual knots in TruKAN. Overall, TruKAN outperforms other KAN models in terms of accuracy, computational efficiency and memory usage on the complex vision task, demonstrating advantages beyond the limited settings explored in prior KAN studies.
- Abstract(参考訳): 計算効率とKAN(Kolmogorov-Arnold Network)の原理の整合性の間のトレードオフを解決するために,kan構造と学習可能なアクティベーション関数に基づく新しいアーキテクチャであるTruKANを提案する。
TruKan は Kan の B-スプライン基底を k-次スプライン理論から導かれる切り離されたパワー関数の族に置き換える。
この変更は、精度とトレーニング時間を向上しつつ、kanの表現性を維持できる。
それぞれのTruKAN層は、切り詰められたパワー項と多項式項を結合し、共有または個別の結び目を使用する。
TruKANは、単純化された基底関数と結び目構成のため、他のKAN変種よりも解釈可能性が高い。
解釈可能な基底関数の優先順位付けにより、TruKANは近似の有効性と透明性のバランスをとることを目指している。
我々は、TruKANモデルを開発し、それを高度なEfficientNet-V2ベースのフレームワークに統合し、コンピュータビジョンベンチマークデータセットで評価する。
MLP-,kan-,SineKAN,TruKANをベースとしたEfficientNetフレームワークを開発し,そのトレーニング時間と精度を,小規模および深層アーキテクチャで評価する。
トレーニングフェーズでは、ハイブリッド最適化を使用して収束安定性を改善する。
さらに,すべてのモデルに対する層正規化手法について検討し,TruKANにおける共有結び目と個別結び目の影響を評価する。
全体として、TruKANは複雑な視覚タスクにおける精度、計算効率、メモリ使用量において他のKANモデルよりも優れており、従来のKAN研究で探索された限られた設定以上の利点を示している。
関連論文リスト
- Kolmogorov Arnold Networks and Multi-Layer Perceptrons: A Paradigm Shift in Neural Modelling [1.6998720690708842]
Kolmogorov-Arnold Networks(KAN)とMulti-Layer Perceptrons(MLP)の総合的比較分析を行った。
Kansはスプラインベースのアクティベーション機能とグリッドベースの構造を利用し、従来のニューラルネットワークフレームワークと比較して変革的なアプローチを提供する。
本研究は,先進的なインテリジェントシステムにおけるkansの変換能力について述べる。
論文 参考訳(メタデータ) (2026-01-15T16:26:49Z) - KAN-Dreamer: Benchmarking Kolmogorov-Arnold Networks as Function Approximators in World Models [0.0]
Kolmogorov-Arnold Networks (KAN) は、MLP(Multi-Arnold Perceptrons)に代わる有望な代替品として登場した。
本報告は,kan-based world modelの今後の発展に向けた予備研究である。
論文 参考訳(メタデータ) (2025-12-08T11:13:15Z) - Improving Memory Efficiency for Training KANs via Meta Learning [55.24089119864207]
我々は,MetaKANと呼ばれる,より小さなメタラーナーを用いて,kansの重みを生成することを提案する。
KansとMetaKanをエンドツーエンドの差別化方法でトレーニングすることで、MetaKanは同等あるいはそれ以上のパフォーマンスを達成できる。
論文 参考訳(メタデータ) (2025-06-09T08:38:26Z) - Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。
微調整カンのためのローテンソルランク適応(LoTRA)を開発した。
微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
論文 参考訳(メタデータ) (2025-02-10T04:57:07Z) - Kolmogorov-Arnold Transformer [72.88137795439407]
Kolmogorov-Arnold Transformer(KAT)は,階層をKAN(Kolmogorov-Arnold Network)層に置き換える新しいアーキテクチャである。
C1)基本関数,(C2)非効率,(C3)重みの3つの主要な課題を特定する。
これらの設計により、KATは従来のトランスフォーマーよりも優れている。
論文 参考訳(メタデータ) (2024-09-16T17:54:51Z) - Want to train KANS at scale? Now UKAN! [2.9666099400348607]
我々は、従来のコルモゴロフ・アルノルドネットワーク(KAN)における有界グリッドの必要性を取り除く方法であるUnbounded Kolmogorov-Arnold Networks (UKANs)を提案する。
UKANは、グリッドグループの位置符号化をCGモデルに入力することで、カンと多層パーセプトロンを結合し、データ正規化を必要とせずに非有界領域上の関数近似を可能にする。
論文 参考訳(メタデータ) (2024-08-20T21:20:38Z) - LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。
本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。
LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
論文 参考訳(メタデータ) (2024-07-13T16:09:45Z) - Suitability of KANs for Computer Vision: A preliminary investigation [28.030708956348864]
Kolmogorov-Arnold Networks (KAN) はニューラルネットワークのパラダイムを導入し、ネットワークの端に学習可能な関数を実装する。
本研究は、視覚モデルにおけるkansの適用性と有効性を評価し、基本的な認識とセグメンテーションタスクに焦点をあてる。
論文 参考訳(メタデータ) (2024-06-13T13:13:17Z) - Scaling Laws for Sparsely-Connected Foundation Models [70.41266138010657]
大規模データセット上でトレーニングしたトランスフォーマーのスケーリング挙動に及ぼすパラメータ空間の影響について検討する。
重み空間,非ゼロパラメータ数,およびトレーニングデータの量との関係を記述した最初のスケーリング法則を同定する。
論文 参考訳(メタデータ) (2023-09-15T16:29:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。