論文の概要: GS-KAN: Parameter-Efficient Kolmogorov-Arnold Networks via Sprecher-Type Shared Basis Functions
- arxiv url: http://arxiv.org/abs/2512.09084v1
- Date: Tue, 09 Dec 2025 19:56:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-11 15:14:53.304626
- Title: GS-KAN: Parameter-Efficient Kolmogorov-Arnold Networks via Sprecher-Type Shared Basis Functions
- Title(参考訳): GS-KAN: Sprecher型共有基底関数によるパラメータ効率の良いコルモゴロフ・アルノルドネットワーク
- Authors: Oscar Eliasson,
- Abstract要約: 我々は、David Sprecherの重ね合わせ定理の洗練に触発された軽量アーキテクチャであるGS-KAN(Generalized Sprecher-KAN)を提案する。
GS-KANは、学習可能な線形変換を1層に1つの学習可能な共有親関数に適用することにより、独自のエッジ関数を構築する。
その結果,GS-KANはパラメータ効率を向上しつつ,連続関数タスクにおける近似と標準kanベースラインの両方に優れていた。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Kolmogorov-Arnold representation theorem offers a theoretical alternative to Multi-Layer Perceptrons (MLPs) by placing learnable univariate functions on edges rather than nodes. While recent implementations such as Kolmogorov-Arnold Networks (KANs) demonstrate high approximation capabilities, they suffer from significant parameter inefficiency due to the requirement of maintaining unique parameterizations for every network edge. In this work, we propose GS-KAN (Generalized Sprecher-KAN), a lightweight architecture inspired by David Sprecher's refinement of the superposition theorem. GS-KAN constructs unique edge functions by applying learnable linear transformations to a single learnable, shared parent function per layer. We evaluate GS-KAN against existing KAN architectures and MLPs across synthetic function approximation, tabular data regression and image classification tasks. Our results demonstrate that GS-KAN outperforms both MLPs and standard KAN baselines on continuous function approximation tasks while maintaining superior parameter efficiency. Additionally, GS-KAN achieves competitive performance with existing KAN architectures on tabular regression and outperforms MLPs on high-dimensional classification tasks. Crucially, the proposed architecture enables the deployment of KAN-based architectures in high-dimensional regimes under strict parameter constraints, a setting where standard implementations are typically infeasible due to parameter explosion. The source code is available at https://github.com/rambamn48/gs-impl.
- Abstract(参考訳): Kolmogorov-Arnold表現定理は、学習可能な単変数関数をノードではなくエッジに配置することで、MLP(Multi-Layer Perceptrons)の理論的代替を提供する。
Kolmogorov-Arnold Networks (KAN) のような最近の実装は高い近似能力を示しているが、ネットワークエッジ毎に独自のパラメータ化を維持する必要があるため、パラメータ非効率に悩まされている。
本稿では、ダビッド・スプレッチャーの重ね合わせ定理の洗練に触発された軽量アーキテクチャであるGS-KAN(Generalized Sprecher-KAN)を提案する。
GS-KANは、学習可能な線形変換を1層に1つの学習可能な共有親関数に適用することにより、独自のエッジ関数を構築する。
GS-KANは,合成関数近似,表型データ回帰,画像分類タスクにまたがって,既存のkanアーキテクチャやMLPに対して評価を行う。
その結果,GS-KAN はパラメータ効率を向上しつつ,連続関数近似タスクにおいて MLP と標準 Kan のベースラインよりも優れていた。
さらに、GS-KANは従来のKANアーキテクチャと表の回帰において競合する性能を達成し、高次元分類タスクにおいてMPPよりも優れる。
重要なこととして,提案アーキテクチャは,厳密なパラメータ制約の下での高次元状態下でのkanアーキテクチャの展開を可能にする。
ソースコードはhttps://github.com/rambamn48/gs-implで入手できる。
関連論文リスト
- FS-KAN: Permutation Equivariant Kolmogorov-Arnold Networks via Function Sharing [27.415937333981905]
置換関数共有kan (FS-KAN) は任意の置換対称性群に対して同変かつ不変なKA層を構築するための原理的アプローチである。
FS-KANは標準パラメータ共有層よりも優れたデータ効率を示すことを示す。
論文 参考訳(メタデータ) (2025-09-29T08:49:09Z) - Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning [0.0]
Kolmogorov-Arnold Networks (KAN) は学習可能な非線形性をノードからエッジに移動させる。
現在のkanは、高次元スプラインパラメータ空間の冗長性に起因する基本的な非効率性に悩まされている。
本稿では,エッジ関数発見を導く新しいトレーニングフレームワークであるProjective Kolmogorov-Arnold Networks (P-KANs)を紹介する。
論文 参考訳(メタデータ) (2025-09-24T12:15:37Z) - Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳(メタデータ) (2025-09-22T15:13:14Z) - LeanKAN: A Parameter-Lean Kolmogorov-Arnold Network Layer with Improved Memory Efficiency and Convergence Behavior [0.0]
Kolmogorov-Arnoldネットワーク(KAN)は、データ駆動モデリングのための多層パーセプトロン(MLP)に代わる有望な代替品である。
ここでは、MultKAN層が出力層において限定的な適用性に悩まされていることが分かる。
我々は、MultKANと従来のAddKANレイヤを直接かつモジュール的に置き換えるLeanKANを提案する。
論文 参考訳(メタデータ) (2025-02-25T04:43:41Z) - Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。
本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
論文 参考訳(メタデータ) (2024-10-01T06:34:58Z) - DepGraph: Towards Any Structural Pruning [68.40343338847664]
我々は、CNN、RNN、GNN、Transformersのような任意のアーキテクチャの一般的な構造解析について研究する。
本稿では,階層間の依存関係を明示的にモデル化し,包括的にグループ化してプルーニングを行う汎用かつ完全自動な手法であるemphDependency Graph(DepGraph)を提案する。
本研究では,画像用ResNe(X)t,DenseNet,MobileNet,Vision Transformer,グラフ用GAT,3Dポイントクラウド用DGCNN,言語用LSTMなど,さまざまなアーキテクチャやタスクに関する手法を広範囲に評価し,言語用LSTMと並行して示す。
論文 参考訳(メタデータ) (2023-01-30T14:02:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。