論文の概要: Kolmogorov-Arnold Networks: Approximation and Learning Guarantees for Functions and their Derivatives
- arxiv url: http://arxiv.org/abs/2504.15110v1
- Date: Mon, 21 Apr 2025 14:02:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-29 16:22:16.844568
- Title: Kolmogorov-Arnold Networks: Approximation and Learning Guarantees for Functions and their Derivatives
- Title（参考訳）: Kolmogorov-Arnold Networks:関数の近似と学習保証とその導出
- Authors: Anastasis Kratsios, Takashi Furuya,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は、ほとんどのディープラーニングフレームワークのバックボーンの改善として登場した。
我々はkansが任意のBesov関数を、有界な開あるいはフラクタルな領域上で$Bs_p,q(mathcalX)$で最適に近似できることを示す。
我々は,残留KANモデルの標本複雑性に関する次元自由推定で近似保証を補完する。
- 参考スコア（独自算出の注目度）: 8.517406772939292
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by the Kolmogorov-Arnold superposition theorem, Kolmogorov-Arnold Networks (KANs) have recently emerged as an improved backbone for most deep learning frameworks, promising more adaptivity than their multilayer perception (MLP) predecessor by allowing for trainable spline-based activation functions. In this paper, we probe the theoretical foundations of the KAN architecture by showing that it can optimally approximate any Besov function in $B^{s}_{p,q}(\mathcal{X})$ on a bounded open, or even fractal, domain $\mathcal{X}$ in $\mathbb{R}^d$ at the optimal approximation rate with respect to any weaker Besov norm $B^{\alpha}_{p,q}(\mathcal{X})$; where $\alpha < s$. We complement our approximation guarantee with a dimension-free estimate on the sample complexity of a residual KAN model when learning a function of Besov regularity from $N$ i.i.d. noiseless samples. Our KAN architecture incorporates contemporary deep learning wisdom by leveraging residual/skip connections between layers.
- Abstract（参考訳）: Kolmogorov-Arnold superposition theorem に触発されたKolmogorov-Arnold Networks (KANs) は、最近、多くのディープラーニングフレームワークのバックボーンの改善として登場し、トレーニング可能なスプラインベースのアクティベーション関数を許すことにより、従来のMLPよりも適応性を約束している。
本稿では,任意の弱ベソフノルムである$B^{\alpha}_{p,q}(\mathcal{X})$に対して,有界開あるいはフラクタル上の任意のベソフ関数を最適に近似できることを示すことにより,カンアーキテクチャの理論的基礎を探索する。
雑音のないサンプルからベソフ正則関数を学習する際、我々は近似保証を残留カンモデルの標本複雑性の次元自由推定に補完する。
我々のkanアーキテクチャは、レイヤ間の残差/スキップ接続を活用することで、現代のディープラーニングの知恵を取り入れています。
関連論文リスト
- Theory-to-Practice Gap for Neural Networks and Neural Operators [6.267574471145217]
本稿では,ReLUニューラルネットワークとニューラル演算子を用いた学習のサンプリング複雑性について検討する。
ボヒナーの$Lp$-ノルムの最良の収束速度は、モンテカルロの1/p$の速度で束縛されていることを示す。
論文 参考訳（メタデータ） (2025-03-23T21:45:58Z) - Enhanced Feature Learning via Regularisation: Integrating Neural Networks and Kernel Methods [0.0]
我々は,ソボレフ関数の期待値として,データの任意の一次元射影に対する期待値とみなす。
このフレームワークはカーネルリッジ回帰に似ており、カーネルは$mathbbE_w (k(B)(wtop x,wtop xprime))$で、$k(B)(a,b) := min(|a|, |b|)mathds1_ab>0$で、プロジェクションの$w$は学習される。
論文 参考訳（メタデータ） (2024-07-24T13:46:50Z) - Improved Regret for Efficient Online Reinforcement Learning with Linear
Function Approximation [69.0695698566235]
線形関数近似による強化学習と,コスト関数の逆変化について検討した。
本稿では,未知のダイナミクスと帯域幅フィードバックの一般設定に挑戦する,計算効率のよいポリシ最適化アルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-01-30T17:26:39Z) - Provably Efficient Offline Reinforcement Learning with Trajectory-Wise
Reward [66.81579829897392]
我々はPessimistic vAlue iteRaTionとrEward Decomposition (PARTED)という新しいオフライン強化学習アルゴリズムを提案する。
PartEDは、最小2乗ベースの報酬再分配を通じて、ステップごとのプロキシ報酬に軌道を分解し、学習したプロキシ報酬に基づいて悲観的な値を実行する。
私たちの知る限りでは、PartEDは、トラジェクティブな報酬を持つ一般のMDPにおいて、証明可能な効率のよい最初のオフラインRLアルゴリズムである。
論文 参考訳（メタデータ） (2022-06-13T19:11:22Z) - DASHA: Distributed Nonconvex Optimization with Communication
Compression, Optimal Oracle Complexity, and No Client Synchronization [77.34726150561087]
我々は,分散最適化問題に対する新しい手法であるDASHAを開発し,解析する。
MARINAとは異なり、新しいDASHAとDASHA-MVRは圧縮ベクターのみを送信し、ノードを同期しないため、学習をより実用的なものにしている。
論文 参考訳（メタデータ） (2022-02-02T20:10:40Z) - Universal Approximation Property of Neural Ordinary Differential
Equations [19.861764482790544]
我々は NODE が一定の条件下で連続写像に対して$Lp$-universal approximator を形成することを示す。
また、それらのより強い近似特性、すなわち、大きな微分同相類を近似する$sup$-ユニバーサリティを示す。
論文 参考訳（メタデータ） (2020-12-04T05:53:21Z) - On Function Approximation in Reinforcement Learning: Optimism in the
Face of Large State Spaces [208.67848059021915]
強化学習のコアにおける探索・探索トレードオフについて検討する。
特に、関数クラス $mathcalF$ の複雑さが関数の複雑さを特徴づけていることを証明する。
私たちの後悔の限界はエピソードの数とは無関係です。
論文 参考訳（メタデータ） (2020-11-09T18:32:22Z) - Random Vector Functional Link Networks for Function Approximation on Manifolds [8.535815777849786]
ランダムな入力-隠蔽層重みとバイアスを持つ単一層ニューラルネットが実際に成功していることを示す。
さらに、このランダム化されたニューラルネットワークアーキテクチャをユークリッド空間の滑らかでコンパクトな部分多様体上の近似関数に適用する。
論文 参考訳（メタデータ） (2020-07-30T23:50:44Z) - Reinforcement Learning with General Value Function Approximation:
Provably Efficient Approach via Bounded Eluder Dimension [124.7752517531109]
一般値関数近似を用いた効率の良い強化学習アルゴリズムを確立する。
我々のアルゴリズムは、$d$が複雑性測度である場合、$widetildeO(mathrmpoly(dH)sqrtT)$の後悔の限界を達成することを示す。
我々の理論は線形値関数近似によるRLの最近の進歩を一般化し、環境モデルに対する明示的な仮定をしない。
論文 参考訳（メタデータ） (2020-05-21T17:36:09Z) - Stochastic Flows and Geometric Optimization on the Orthogonal Group [52.50121190744979]
直交群 $O(d)$ 上の幾何駆動最適化アルゴリズムの新しいクラスを示す。
提案手法は,深層,畳み込み,反復的なニューラルネットワーク,強化学習,フロー,メトリック学習など,機械学習のさまざまな分野に適用可能であることを示す。
論文 参考訳（メタデータ） (2020-03-30T15:37:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。