論文の概要: On the expressiveness and spectral bias of KANs
- arxiv url: http://arxiv.org/abs/2410.01803v1
- Date: Wed, 02 Oct 2024 17:57:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:21:12.783910
- Title: On the expressiveness and spectral bias of KANs
- Title(参考訳): カンの表現性とスペクトルバイアスについて
- Authors: Yixuan Wang, Jonathan W. Siegel, Ziming Liu, Thomas Y. Hou,
- Abstract要約: 深層学習モデルであるMLP(Multi-layer perceptron)のアーキテクチャバックボーンの代替として,kanが提案されている。
カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。
- 参考スコア(独自算出の注目度): 17.42614039265962
- License:
- Abstract: Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} were very recently proposed as a potential alternative to the prevalent architectural backbone of many deep learning models, the multi-layer perceptron (MLP). KANs have seen success in various tasks of AI for science, with their empirical efficiency and accuracy demostrated in function regression, PDE solving, and many more scientific problems. In this article, we revisit the comparison of KANs and MLPs, with emphasis on a theoretical perspective. On the one hand, we compare the representation and approximation capabilities of KANs and MLPs. We establish that MLPs can be represented using KANs of a comparable size. This shows that the approximation and representation capabilities of KANs are at least as good as MLPs. Conversely, we show that KANs can be represented using MLPs, but that in this representation the number of parameters increases by a factor of the KAN grid size. This suggests that KANs with a large grid size may be more efficient than MLPs at approximating certain functions. On the other hand, from the perspective of learning and optimization, we study the spectral bias of KANs compared with MLPs. We demonstrate that KANs are less biased toward low frequencies than MLPs. We highlight that the multi-level learning feature specific to KANs, i.e. grid extension of splines, improves the learning process for high-frequency components. Detailed comparisons with different choices of depth, width, and grid sizes of KANs are made, shedding some light on how to choose the hyperparameters in practice.
- Abstract(参考訳): Kolmogorov-Arnold Networks (KAN) \cite{liu2024kan} は、多くのディープラーニングモデルの一般的なアーキテクチャバックボーンであるマルチ層パーセプトロン(MLP)の代替として提案されている。
カンは科学のためのAIの様々なタスクで成功しており、その経験的効率性と精度は、関数回帰、PDE解決、そして多くの科学的な問題で実証されている。
本稿では、理論的な観点から、kanとMPPの比較を再考する。
一方,kan と MLP の表現と近似能力の比較を行った。
我々は,MPPを同等の大きさの Kan を用いて表現できることを確立した。
このことは、kan の近似と表現能力が少なくとも MLP と同程度であることを示している。
逆に,kan は MLP を用いて表現できるが,この表現ではkan グリッドの大きさの因子によってパラメータの数が増加することが示されている。
このことは、グリッドサイズが大きいkansが特定の関数を近似する上で、MPPsよりも効率的である可能性を示唆している。
一方,学習と最適化の観点から,KansのスペクトルバイアスをMLPと比較した。
我々は、KANはMLPよりも低周波数に偏りが小さいことを示した。
提案手法では, スプラインのグリッド拡張など, Kans 特有のマルチレベル学習機能により, 高周波コンポーネントの学習プロセスが改善されることを強調した。
カンの深さ、幅、格子の大きさの異なる選択肢との詳細な比較が行われ、実際はハイパーパラメータの選定方法に光を当てている。
関連論文リスト
- KAN or MLP: A Fairer Comparison [63.794304207664176]
本稿では,様々なタスクにおけるkanとモデルの比較を,より公平かつ包括的に行う。
パラメータ数とFLOPを制御して,kanの性能と表現性を比較する。
我々は,KANSAの課題が,標準クラス増分学習環境において忘れることよりも深刻であることが確認された。
論文 参考訳(メタデータ) (2024-07-23T17:43:35Z) - A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks [8.573300153709358]
Kolmogorov-Arnold Networks (KAN) は、最近標準表現モデルに代わる表現モデルとして導入された。
そこで我々はkansを用いて機械学習モデル(PIKAN)とDeep operatorモデル(DeepokaN)を構築し、前方および逆問題に対する微分方程式を解く。
論文 参考訳(メタデータ) (2024-06-05T04:10:36Z) - KAN: Kolmogorov-Arnold Networks [16.782018138008578]
MLP(Multi-Layer Perceptrons)の代替として、KAN(Kolmogorov-Arnold Networks)を提案する。
カンはエッジ上で学習可能なアクティベーション機能を持つ("weights")。
この一見単純な変化により、KANSAは精度と解釈可能性という点で、ニューラルネットワークを上回ります。
論文 参考訳(メタデータ) (2024-04-30T17:58:29Z) - Improved Implicit Neural Representation with Fourier Reparameterized Training [21.93903328906775]
Inlicit Neural Representation (INR)は、近年様々なコンピュータビジョンタスクにおいて、強力な表現パラダイムとして成功している。
既存の手法では、INRの精度を向上させるため、位置符号化や周期的アクティベーション関数といった高度な手法が研究されている。
論文 参考訳(メタデータ) (2024-01-15T00:40:41Z) - SCHEME: Scalable Channel Mixer for Vision Transformers [52.605868919281086]
ビジョントランスフォーマーは多くの視覚タスクにおいて印象的なパフォーマンスを達成した。
チャネルミキサーや機能ミキシングブロック(FFNか)の研究は、はるかに少ない。
密度の高い接続は、より大きな膨張比をサポートする対角線ブロック構造に置き換えることができることを示す。
論文 参考訳(メタデータ) (2023-12-01T08:22:34Z) - Tuning Pre-trained Model via Moment Probing [62.445281364055795]
本稿では,LP の可能性を探るため,新しい Moment Probing (MP) 法を提案する。
MPは、最終特徴の平均に基づいて線形分類ヘッドを実行する。
当社のMPはLPを著しく上回り、トレーニングコストの低い相手と競争しています。
論文 参考訳(メタデータ) (2023-07-21T04:15:02Z) - MLP-SRGAN: A Single-Dimension Super Resolution GAN using MLP-Mixer [0.05219568203653523]
単一次元超分解能生成適応ネットワーク(SRGAN)であるversa-SRGANを提案する。
SRGANは、MSSEG2チャレンジデータセットから高分解能(HR)FLAIR MRIを用いて訓練され、検証される。
その結果、SRGANの結果は、シャープなエッジ、ぼやけの少ない、テクスチャと微細解剖学的詳細を保存し、パラメータを少なくし、トレーニング/評価時間を短縮し、既存の方法よりもモデルサイズを小さくする。
論文 参考訳(メタデータ) (2023-03-11T04:05:57Z) - ReLU Fields: The Little Non-linearity That Could [62.228229880658404]
我々は,高忠実度結果の保持を可能にするグリッドベース表現に対する最小の変更点について検討する。
このようなアプローチが最先端技術と競合することを示します。
論文 参考訳(メタデータ) (2022-05-22T13:42:31Z) - On Graph Neural Networks versus Graph-Augmented MLPs [51.23890789522705]
Graph-Augmented Multi-Layer Perceptrons (GA-MLPs)は、まずグラフ上の特定のマルチホップ演算子でノード機能を拡張する。
我々は,GA-MLPとGNNの表現力の分離を証明し,指数関数的に成長することを示す。
論文 参考訳(メタデータ) (2020-10-28T17:59:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。