論文の概要: On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators
- arxiv url: http://arxiv.org/abs/2509.19830v1
- Date: Wed, 24 Sep 2025 07:22:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-25 20:53:19.716656
- Title: On the Rate of Convergence of Kolmogorov-Arnold Network Regression Estimators
- Title(参考訳): Kolmogorov-Arnoldネットワーク回帰推定器の収束率について
- Authors: Wei Liu, Eleni Chatzi, Zhilu Lai,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は多変量関数近似のための構造化および解釈可能なフレームワークを提供する。
加法およびハイブリッド加法-乗法の両方が極小マックス-最適収束率に達することを証明した。
B-スプラインにおける最適な結び目数を選択するためのガイドラインを導出する。
- 参考スコア(独自算出の注目度): 4.595923896761076
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Kolmogorov-Arnold Networks (KANs) offer a structured and interpretable framework for multivariate function approximation by composing univariate transformations through additive or multiplicative aggregation. This paper establishes theoretical convergence guarantees for KANs when the univariate components are represented by B-splines. We prove that both additive and hybrid additive-multiplicative KANs attain the minimax-optimal convergence rate $O(n^{-2r/(2r+1)})$ for functions in Sobolev spaces of smoothness $r$. We further derive guidelines for selecting the optimal number of knots in the B-splines. The theory is supported by simulation studies that confirm the predicted convergence rates. These results provide a theoretical foundation for using KANs in nonparametric regression and highlight their potential as a structured alternative to existing methods.
- Abstract(参考訳): Kolmogorov-Arnold Networks (KAN) は、加法的あるいは乗法的アグリゲーションを通じて単変量変換を構成することで、多変量関数近似のための構造化および解釈可能なフレームワークを提供する。
本稿では、単変量成分がB-スプラインで表される場合のカンの理論収束保証を確立する。
加法とハイブリッド加法-乗法の両方が、滑らかさ$r$のソボレフ空間における函数に対して、極小マックス-最適収束率$O(n^{-2r/(2r+1)} に達することを証明している。
さらに,B-スプラインにおける最適な結び目数を選択するためのガイドラインを導出する。
この理論は、予測収束率を確認するシミュレーション研究によって支持されている。
これらの結果は、カンを非パラメトリック回帰に利用するための理論的基盤を提供し、既存の方法の代替となる構造的ポテンシャルを強調している。
関連論文リスト
- Approximation Rates in Besov Norms and Sample-Complexity of Kolmogorov-Arnold Networks with Residual Connections [9.817834520159936]
Kolmogorov-Arnold Networks (KAN) は、ほとんどのディープラーニングフレームワークのバックボーンの改善として登場した。
我々はkansが任意のBesov関数を、有界な開あるいはフラクタルな領域上で$Bs_p,q(mathcalX)$で最適に近似できることを示す。
論文 参考訳(メタデータ) (2025-04-21T14:02:59Z) - Variance-Reducing Couplings for Random Features [57.73648780299374]
ランダム機能(RF)は、機械学習においてカーネルメソッドをスケールアップする一般的なテクニックである。
ユークリッド空間と離散入力空間の両方で定義されるRFを改善するための結合を求める。
パラダイムとしての分散還元の利点と限界について、驚くほどの結論に達した。
論文 参考訳(メタデータ) (2024-05-26T12:25:09Z) - Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。
最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
論文 参考訳(メタデータ) (2023-10-20T12:45:12Z) - Controlling the Complexity and Lipschitz Constant improves polynomial
nets [55.121200972539114]
多項式ネットの結合CP分解(CCP)モデルとNested Coupled CP分解(NCP)モデルに対する新しい複雑性境界を導出する。
本研究では、6つのデータセットで実験的に評価し、モデルが逆摂動に対して頑健であるとともに精度も向上することを示す。
論文 参考訳(メタデータ) (2022-02-10T14:54:29Z) - Equivalence of Convergence Rates of Posterior Distributions and Bayes
Estimators for Functions and Nonparametric Functionals [4.375582647111708]
非パラメトリック回帰におけるガウス過程の先行したベイズ法の後部収縮率について検討する。
カーネルの一般クラスに対しては、回帰関数とその微分の後方測度の収束率を確立する。
我々の証明は、ある条件下では、ベイズ推定器の任意の収束率に対して、後部分布の同じ収束率に対応することを示す。
論文 参考訳(メタデータ) (2020-11-27T19:11:56Z) - Tractable Approximate Gaussian Inference for Bayesian Neural Networks [1.933681537640272]
本稿では,ベイズニューラルネットワークにおける抽出可能な近似ガウス推定(TAGI)を実現するための解析手法を提案する。
この手法はパラメータ数$n$に対して$mathcalO(n)$の計算複雑性を持ち、回帰および分類ベンチマークで実施されたテストは、同じネットワークアーキテクチャにおいて、勾配のバックプロパゲーションに依存する既存のメソッドのパフォーマンスと一致することを確認している。
論文 参考訳(メタデータ) (2020-04-20T13:37:08Z) - The k-tied Normal Distribution: A Compact Parameterization of Gaussian
Mean Field Posteriors in Bayesian Neural Networks [46.677567663908185]
変分ベイズ推論は、ベイズニューラルネットワークの重み付けを近似する一般的な手法である。
最近の研究は、性能向上を期待して、近似後部のよりリッチなパラメータ化を探求している。
これらの変動パラメータを低ランク因子化に分解することにより、モデルの性能を低下させることなく変動近似をよりコンパクトにすることができる。
論文 参考訳(メタデータ) (2020-02-07T07:33:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。