論文の概要: On the expressiveness and spectral bias of KANs

• arxiv url: http://arxiv.org/abs/2410.01803v2
• Date: Thu, 06 Feb 2025 19:49:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 14:53:19.699735
• Title: On the expressiveness and spectral bias of KANs
• Title（参考訳）: カンの表現性とスペクトルバイアスについて
• Authors: Yixuan Wang, Jonathan W. Siegel, Ziming Liu, Thomas Y. Hou,
• Abstract要約: 深層学習モデルであるMLP(Multi-layer perceptron)のアーキテクチャバックボーンの代替として,kanが提案されている。 カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。
• 参考スコア（独自算出の注目度）: 17.42614039265962
• License:
• Abstract: Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} were very recently proposed as a potential alternative to the prevalent architectural backbone of many deep learning models, the multi-layer perceptron (MLP). KANs have seen success in various tasks of AI for science, with their empirical efficiency and accuracy demostrated in function regression, PDE solving, and many more scientific problems. In this article, we revisit the comparison of KANs and MLPs, with emphasis on a theoretical perspective. On the one hand, we compare the representation and approximation capabilities of KANs and MLPs. We establish that MLPs can be represented using KANs of a comparable size. This shows that the approximation and representation capabilities of KANs are at least as good as MLPs. Conversely, we show that KANs can be represented using MLPs, but that in this representation the number of parameters increases by a factor of the KAN grid size. This suggests that KANs with a large grid size may be more efficient than MLPs at approximating certain functions. On the other hand, from the perspective of learning and optimization, we study the spectral bias of KANs compared with MLPs. We demonstrate that KANs are less biased toward low frequencies than MLPs. We highlight that the multi-level learning feature specific to KANs, i.e. grid extension of splines, improves the learning process for high-frequency components. Detailed comparisons with different choices of depth, width, and grid sizes of KANs are made, shedding some light on how to choose the hyperparameters in practice.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} は、多くのディープラーニングモデルの一般的なアーキテクチャバックボーンであるマルチ層パーセプトロン(MLP)の代替として提案されている。 カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。 本稿では、理論的な観点から、kanとMPPの比較を再考する。 一方,kan と MLP の表現と近似能力の比較を行った。 我々は,MPPを同等の大きさの Kan を用いて表現できることを確立した。 このことは、kan の近似と表現能力が少なくとも MLP と同程度であることを示している。 逆に,kan は MLP を用いて表現できるが,この表現ではkan グリッドの大きさの因子によってパラメータの数が増加することが示されている。 このことは、グリッドサイズが大きいkansが特定の関数を近似する上で、MPPsよりも効率的である可能性を示唆している。 一方,学習と最適化の観点から,KansのスペクトルバイアスをMLPと比較した。 我々は、KANはMLPよりも低周波数に偏りが小さいことを示した。 提案手法では, スプラインのグリッド拡張など, Kans 特有のマルチレベル学習機能により, 高周波コンポーネントの学習プロセスが改善されることを強調した。 カンの深さ、幅、格子の大きさの異なる選択肢との詳細な比較が行われ、実際はハイパーパラメータの選定方法に光を当てている。

関連論文リスト

• Low Tensor-Rank Adaptation of Kolmogorov--Arnold Networks [70.06682043272377]
  コルモゴロフ-アルノルドネットワーク(KAN)は、様々な領域における多層知覚(MLP)の代替としての可能性を示した。 微調整カンのためのローテンソルランク適応(LoTRA)を開発した。 微調整カンによる様々な偏微分方程式(PDE)を効率的に解くためのLoTRAの適用について検討する。
  論文  参考訳（メタデータ） (2025-02-10T04:57:07Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• PowerMLP: An Efficient Version of KAN [10.411788782126091]
  Kolmogorov-Arnold Network (KAN) は、関数フィッティングやPDE解決といったいくつかのタスクにおいて高い精度で知られている新しいネットワークアーキテクチャである。 Kanの優れた計算能力は、コルモゴロフ・アルノルド表現と学習可能なスプライン関数から生じる。 PowerMLPは、様々なタスクにおいてkanの約40倍の精度とトレーニング速度を達成する。
  論文  参考訳（メタデータ） (2024-12-18T07:42:34Z)
• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  我々は任意の行列群同変をkanに組み込む方法であるEquivariant Kolmogorov-Arnold Networks (EKAN)を提案する。 EKANは、粒子散乱や3体問題といった対称性に関連したタスクにおいて、より小さなデータセットやより少ないパラメータで高い精度を達成する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
  Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。 コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
  論文  参考訳（メタデータ） (2024-09-20T14:49:21Z)
• KAN v.s. MLP for Offline Reinforcement Learning [4.3621896506713185]
  Kolmogorov-Arnold Networks (KAN)は、機械学習における新たなニューラルネットワークアーキテクチャである。 本稿では,オフライン強化学習のためのアクターおよび批評家ネットワークへのkanの組み入れについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T07:52:44Z)
• Kolmogorov-Arnold Network for Online Reinforcement Learning [0.22615818641180724]
  Kolmogorov-Arnold Networks (KANs)は、ニューラルネットワークにおけるMLP(Multi-Layer Perceptrons)の代替としての可能性を示している。 Kansはパラメータが少なく、メモリ使用量が減ったユニバーサル関数近似を提供する。
  論文  参考訳（メタデータ） (2024-08-09T03:32:37Z)
• KAN or MLP: A Fairer Comparison [63.794304207664176]
  本稿では,様々なタスクにおけるkanとモデルの比較を,より公平かつ包括的に行う。 パラメータ数とFLOPを制御して,kanの性能と表現性を比較する。 我々は,KANSAの課題が,標準クラス増分学習環境において忘れることよりも深刻であることが確認された。
  論文  参考訳（メタデータ） (2024-07-23T17:43:35Z)
• KAN: Kolmogorov-Arnold Networks [16.782018138008578]
  MLP(Multi-Layer Perceptrons)の代替として、KAN(Kolmogorov-Arnold Networks)を提案する。 カンはエッジ上で学習可能なアクティベーション機能を持つ("weights")。 この一見単純な変化により、KANSAは精度と解釈可能性という点で、ニューラルネットワークを上回ります。
  論文  参考訳（メタデータ） (2024-04-30T17:58:29Z)
• ReLU Fields: The Little Non-linearity That Could [62.228229880658404]
  我々は,高忠実度結果の保持を可能にするグリッドベース表現に対する最小の変更点について検討する。 このようなアプローチが最先端技術と競合することを示します。
  論文  参考訳（メタデータ） (2022-05-22T13:42:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。