論文の概要: On the expressiveness and spectral bias of KANs

• arxiv url: http://arxiv.org/abs/2410.01803v1
• Date: Wed, 2 Oct 2024 17:57:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 15:04:32.171305
• Title: On the expressiveness and spectral bias of KANs
• Title（参考訳）: カンの表現性とスペクトルバイアスについて
• Authors: Yixuan Wang, Jonathan W. Siegel, Ziming Liu, Thomas Y. Hou,
• Abstract要約: 深層学習モデルであるMLP(Multi-layer perceptron)のアーキテクチャバックボーンの代替として,kanが提案されている。 カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。
• 参考スコア（独自算出の注目度）: 17.42614039265962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} were very recently proposed as a potential alternative to the prevalent architectural backbone of many deep learning models, the multi-layer perceptron (MLP). KANs have seen success in various tasks of AI for science, with their empirical efficiency and accuracy demostrated in function regression, PDE solving, and many more scientific problems. In this article, we revisit the comparison of KANs and MLPs, with emphasis on a theoretical perspective. On the one hand, we compare the representation and approximation capabilities of KANs and MLPs. We establish that MLPs can be represented using KANs of a comparable size. This shows that the approximation and representation capabilities of KANs are at least as good as MLPs. Conversely, we show that KANs can be represented using MLPs, but that in this representation the number of parameters increases by a factor of the KAN grid size. This suggests that KANs with a large grid size may be more efficient than MLPs at approximating certain functions. On the other hand, from the perspective of learning and optimization, we study the spectral bias of KANs compared with MLPs. We demonstrate that KANs are less biased toward low frequencies than MLPs. We highlight that the multi-level learning feature specific to KANs, i.e. grid extension of splines, improves the learning process for high-frequency components. Detailed comparisons with different choices of depth, width, and grid sizes of KANs are made, shedding some light on how to choose the hyperparameters in practice.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} は、多くのディープラーニングモデルの一般的なアーキテクチャバックボーンであるマルチ層パーセプトロン(MLP)の代替として提案されている。 カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。 本稿では、理論的な観点から、kanとMPPの比較を再考する。 一方,kan と MLP の表現と近似能力の比較を行った。 我々は,MPPを同等の大きさの Kan を用いて表現できることを確立した。 このことは、kan の近似と表現能力が少なくとも MLP と同程度であることを示している。 逆に,kan は MLP を用いて表現できるが,この表現ではkan グリッドの大きさの因子によってパラメータの数が増加することが示されている。 このことは、グリッドサイズが大きいkansが特定の関数を近似する上で、MPPsよりも効率的である可能性を示唆している。 一方,学習と最適化の観点から,KansのスペクトルバイアスをMLPと比較した。 我々は、KANはMLPよりも低周波数に偏りが小さいことを示した。 提案手法では, スプラインのグリッド拡張など, Kans 特有のマルチレベル学習機能により, 高周波コンポーネントの学習プロセスが改善されることを強調した。 カンの深さ、幅、格子の大きさの異なる選択肢との詳細な比較が行われ、実際はハイパーパラメータの選定方法に光を当てている。

関連論文リスト

• Incorporating Arbitrary Matrix Group Equivariance into KANs [69.30866522377694]
  Kolmogorov-Arnold Networks (KAN) は科学分野で大きな成功を収めている。 しかし、スプライン関数は、機械学習において重要な事前知識であるタスクの対称性を尊重しないかもしれない。 本研究では,Equivariant Kolmogorov-Arnold Networks (EKAN)を提案する。
  論文  参考訳（メタデータ） (2024-10-01T06:34:58Z)
• A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
  Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。 コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
  論文  参考訳（メタデータ） (2024-09-20T14:49:21Z)
• KAN v.s. MLP for Offline Reinforcement Learning [4.3621896506713185]
  Kolmogorov-Arnold Networks (KAN)は、機械学習における新たなニューラルネットワークアーキテクチャである。 本稿では,オフライン強化学習のためのアクターおよび批評家ネットワークへのkanの組み入れについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T07:52:44Z)
• Kolmogorov-Arnold Network for Online Reinforcement Learning [0.22615818641180724]
  Kolmogorov-Arnold Networks (KANs)は、ニューラルネットワークにおけるMLP(Multi-Layer Perceptrons)の代替としての可能性を示している。 Kansはパラメータが少なく、メモリ使用量が減ったユニバーサル関数近似を提供する。
  論文  参考訳（メタデータ） (2024-08-09T03:32:37Z)
• KAN or MLP: A Fairer Comparison [63.794304207664176]
  本稿では,様々なタスクにおけるkanとモデルの比較を,より公平かつ包括的に行う。 パラメータ数とFLOPを制御して,kanの性能と表現性を比較する。 我々は,KANSAの課題が,標準クラス増分学習環境において忘れることよりも深刻であることが確認された。
  論文  参考訳（メタデータ） (2024-07-23T17:43:35Z)
• KAN: Kolmogorov-Arnold Networks [16.782018138008578]
  MLP(Multi-Layer Perceptrons)の代替として、KAN(Kolmogorov-Arnold Networks)を提案する。 カンはエッジ上で学習可能なアクティベーション機能を持つ("weights")。 この一見単純な変化により、KANSAは精度と解釈可能性という点で、ニューラルネットワークを上回ります。
  論文  参考訳（メタデータ） (2024-04-30T17:58:29Z)
• SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
  ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。 チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。 密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
  論文  参考訳（メタデータ） (2023-12-01T08:22:34Z)
• ReLU Fields: The Little Non-linearity That Could [62.228229880658404]
  我々は,高忠実度結果の保持を可能にするグリッドベース表現に対する最小の変更点について検討する。 このようなアプローチが最先端技術と競合することを示します。
  論文  参考訳（メタデータ） (2022-05-22T13:42:31Z)
• On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
  Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。 我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
  論文  参考訳（メタデータ） (2020-10-28T17:59:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。