論文の概要: Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning
- arxiv url: http://arxiv.org/abs/2509.20049v1
- Date: Wed, 24 Sep 2025 12:15:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.803328
- Title: Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning
- Title（参考訳）: Projective Kolmogorov Arnold Neural Networks (P-KANs): Entropy-Driven Functional Space Discovery for Interpretable Machine Learning
- Authors: Alastair Poole, Stig McArthur, Saravan Kumar,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は学習可能な非線形性をノードからエッジに移動させる。
現在のkanは、高次元スプラインパラメータ空間の冗長性に起因する基本的な非効率性に悩まされている。
本稿では,エッジ関数発見を導く新しいトレーニングフレームワークであるProjective Kolmogorov-Arnold Networks (P-KANs)を紹介する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) relocate learnable nonlinearities from nodes to edges, demonstrating remarkable capabilities in scientific machine learning and interpretable modeling. However, current KAN implementations suffer from fundamental inefficiencies due to redundancy in high-dimensional spline parameter spaces, where numerous distinct parameterisations yield functionally equivalent behaviors. This redundancy manifests as a "nuisance space" in the model's Jacobian, leading to susceptibility to overfitting and poor generalization. We introduce Projective Kolmogorov-Arnold Networks (P-KANs), a novel training framework that guides edge function discovery towards interpretable functional representations through entropy-minimisation techniques from signal analysis and sparse dictionary learning. Rather than constraining functions to predetermined spaces, our approach maintains spline space flexibility while introducing "gravitational" terms that encourage convergence towards optimal functional representations. Our key insight recognizes that optimal representations can be identified through entropy analysis of projection coefficients, compressing edge functions to lower-parameter projective spaces (Fourier, Chebyshev, Bessel). P-KANs demonstrate superior performance across multiple domains, achieving up to 80% parameter reduction while maintaining representational capacity, significantly improved robustness to noise compared to standard KANs, and successful application to industrial automated fiber placement prediction. Our approach enables automatic discovery of mixed functional representations where different edges converge to different optimal spaces, providing both compression benefits and enhanced interpretability for scientific machine learning applications.
- Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、学習可能な非線形性をノードからエッジに移動させ、科学的機械学習と解釈可能なモデリングにおいて顕著な能力を示す。
しかし、現在のkan実装は高次元スプラインパラメータ空間の冗長性により基本的な非効率に悩まされ、多くの異なるパラメータ化が機能的に等価な振る舞いをもたらす。
この冗長性はモデルのヤコビアンにおいて「ニュアンス空間」として現れ、過度に適合し、一般化が貧弱になる。
我々は,信号解析とスパース辞書学習からエントロピー最小化技術を用いて,エッジ関数発見を解釈可能な関数表現へと導く新しいトレーニングフレームワークであるProjective Kolmogorov-Arnold Networks (P-KANs)を紹介する。
所定空間に関数を拘束するのではなく、最適汎函数表現への収束を促す「重力」項を導入しながら、スプライン空間の柔軟性を維持する。
我々のキーとなる洞察は、射影係数のエントロピー解析を通じて最適な表現を同定し、エッジ関数を低パラメータ射影空間(Fourier, Chebyshev, Bessel)に圧縮することである。
P-KANは、複数の領域にまたがって優れた性能を示し、表現能力を維持しながら最大80%のパラメータ削減を実現し、標準のkanと比較してノイズに対するロバスト性を大幅に改善し、産業用自動繊維配置予測への応用に成功した。
提案手法は,異なるエッジが異なる最適空間に収束する混合関数表現の自動発見を可能にする。
関連論文リスト
- Deep Hierarchical Learning with Nested Subspace Networks [53.71337604556311]
大規模ニューラルネットワークのためのNested Subspace Networks (NSN)を提案する。
NSNは、単一のモデルを連続した計算予算の範囲で動的かつきめ細かな調整を可能にする。
我々は,NSNを訓練済みのLLMに外科的に適用し,スムーズで予測可能な計算性能フロンティアを解き放つことができることを示した。
論文 参考訳（メタデータ） (2025-09-22T15:13:14Z) - Function Forms of Simple ReLU Networks with Random Hidden Weights [1.2289361708127877]
無限幅限界における2層ReLUニューラルネットワークの関数空間ダイナミクスについて検討する。
ステアリング学習におけるフィッシャー情報行列の役割を強調した。
この研究は、広いニューラルネットワークを理解するための堅牢な基盤を提供する。
論文 参考訳（メタデータ） (2025-05-23T13:53:02Z) - Extension of Symmetrized Neural Network Operators with Fractional and Mixed Activation Functions [0.0]
本稿では, 分数および混合活性化関数を組み込むことにより, 対称性を持つニューラルネットワーク演算子への新たな拡張を提案する。
本フレームワークでは、アクティベーション関数に分数指数を導入し、適応的な非線形近似を精度良く実現する。
論文 参考訳（メタデータ） (2025-01-17T14:24:25Z) - Chebyshev Polynomial-Based Kolmogorov-Arnold Networks: An Efficient Architecture for Nonlinear Function Approximation [0.0]
本稿では,Chebyshev Kolmogorov-Arnoldの定理に触発された新しいニューラルネットワークアーキテクチャであるChebyshev Kolmogorov-Arnold Networkについて述べる。
ネットワークのエッジ上でChebyshevによってパラメータ化された学習可能な関数を利用することで、Chebyshev Kansは関数近似タスクの柔軟性、効率、解釈性を向上させる。
論文 参考訳（メタデータ） (2024-05-12T07:55:43Z) - Nonparametric Classification on Low Dimensional Manifolds using Overparameterized Convolutional Residual Networks [78.11734286268455]
非パラメトリック分類の観点から重量減衰を訓練したConvResNeXtsの性能について検討した。
我々の分析は、ConvResNeXtsにおいて無限に多くのビルディングブロックを許容し、重み減衰がこれらのブロックに空間性を暗黙的に強制することを示す。
論文 参考訳（メタデータ） (2023-07-04T11:08:03Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Offline Reinforcement Learning with Differentiable Function
Approximation is Provably Efficient [65.08966446962845]
歴史的データを用いて意思決定戦略を最適化することを目的としたオフライン強化学習は、現実の応用に広く適用されている。
微分関数クラス近似(DFA)を用いたオフライン強化学習の検討から一歩踏み出した。
最も重要なことは、悲観的な適合Q-ラーニングアルゴリズムを解析することにより、オフライン微分関数近似が有効であることを示すことである。
論文 参考訳（メタデータ） (2022-10-03T07:59:42Z) - Contrastive Conditional Neural Processes [45.70735205041254]
条件付きニューラル・プロセス(CNP)は、メタラーニング環境下でのプロセスの機能に近い確率的推論でニューラルネットワークをブリッジする。
2つの補助的コントラスト分岐が階層的に設定される。すなわち、インストラクテーション時間的コントラスト学習(tt TCL)とクロスストラクテーション関数コントラスト学習(tt FCL)である。
実験により、tt TCLは観測の高レベルの抽象化を捉えるのに対し、tt FCLは基底関数の同定に役立ち、より効率的な表現を提供することを示す。
論文 参考訳（メタデータ） (2022-03-08T10:08:45Z) - Learning Sub-Patterns in Piecewise Continuous Functions [4.18804572788063]
ほとんどの勾配降下アルゴリズムは、パラメータでサブ微分可能なニューラルネットワークを最適化することができる。
本稿では,異なるサブパターンから不連続が生じる場合に焦点を当てる。
分離された2段階の手順でトレーニング可能な,不連続なディープニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2020-10-29T13:44:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。