論文の概要: Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons
- arxiv url: http://arxiv.org/abs/2409.10463v1
- Date: Mon, 16 Sep 2024 16:56:08 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-17 14:48:31.378222
- Title: Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons
- Title（参考訳）: 低データレジームにおけるコルモゴロフ・アルノルドネットワーク:多層受容器との比較研究
- Authors: Farhad Pourkamali-Anaraki,
- Abstract要約: Kolmogorov-Arnold Networks (KAN) は、ネットワークエッジ上で直接、高度に柔軟な学習可能なアクティベーション関数を使用する。
kanは学習可能なパラメータの数を大幅に増加させ、データスカース環境での有効性に対する懸念を高めます。
個別化活性化関数はパラメータの緩やかな増加だけで予測精度が大幅に向上することを示す。
- 参考スコア（独自算出の注目度）: 2.77390041716769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multilayer Perceptrons (MLPs) have long been a cornerstone in deep learning, known for their capacity to model complex relationships. Recently, Kolmogorov-Arnold Networks (KANs) have emerged as a compelling alternative, utilizing highly flexible learnable activation functions directly on network edges, a departure from the neuron-centric approach of MLPs. However, KANs significantly increase the number of learnable parameters, raising concerns about their effectiveness in data-scarce environments. This paper presents a comprehensive comparative study of MLPs and KANs from both algorithmic and experimental perspectives, with a focus on low-data regimes. We introduce an effective technique for designing MLPs with unique, parameterized activation functions for each neuron, enabling a more balanced comparison with KANs. Using empirical evaluations on simulated data and two real-world data sets from medicine and engineering, we explore the trade-offs between model complexity and accuracy, with particular attention to the role of network depth. Our findings show that MLPs with individualized activation functions achieve significantly higher predictive accuracy with only a modest increase in parameters, especially when the sample size is limited to around one hundred. For example, in a three-class classification problem within additive manufacturing, MLPs achieve a median accuracy of 0.91, significantly outperforming KANs, which only reach a median accuracy of 0.53 with default hyperparameters. These results offer valuable insights into the impact of activation function selection in neural networks.
- Abstract（参考訳）: 多層パーセプトロン(MLP)は、複雑な関係をモデル化する能力で知られ、長年、ディープラーニングの基盤として知られていた。
近年、KAN(Kolmogorov-Arnold Networks)は、高度に柔軟な学習可能なアクティベーション関数をネットワークエッジに直接利用し、MLPのニューロン中心のアプローチから逸脱した。
しかし,KAは学習可能なパラメータの数を大幅に増加させ,データ共有環境における有効性への懸念を高めた。
本稿では、アルゴリズムと実験の両方の観点から、MLPとkanの総合的な比較研究を行い、低データ体制に着目した。
本稿では,各ニューロンに対して一意なパラメータ化活性化関数を持つMLPを設計するための効果的な手法を提案する。
シミュレーションデータと医工学から得られた実世界の2つのデータセットの実証的評価を用いて、モデルの複雑さと精度のトレードオフについて検討し、特にネットワーク深度の役割に注目した。
その結果, 個別化活性化機能を有するMLPは, 標本サイズが100程度に制限された場合, パラメータがわずかに増加し, 予測精度が著しく向上することが示唆された。
例えば、添加物製造における3クラス分類問題では、MPPは0.91の中央値の精度を達成し、デフォルトのハイパーパラメータでは0.53の中央値のカンよりも大幅に上回っている。
これらの結果は、ニューラルネットワークにおけるアクティベーション関数の選択の影響に関する貴重な洞察を提供する。
関連論文リスト
- A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks [43.70716358136333]
Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。
Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。
コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
論文 参考訳（メタデータ） (2024-09-20T14:49:21Z) - Discovering Long-Term Effects on Parameter Efficient Fine-tuning [36.83255498301937]
事前訓練されたニューラルネットワーク(Annns)は、堅牢なパターン認識機能を示す。
アンとBNNはヒト脳、特にBNNと大きな類似点を共有している
アンは微調整によって新しい知識を得ることができる。
論文 参考訳（メタデータ） (2024-08-24T03:27:29Z) - Kolmogorov-Arnold Network for Online Reinforcement Learning [0.22615818641180724]
Kolmogorov-Arnold Networks (KANs)は、ニューラルネットワークにおけるMLP(Multi-Layer Perceptrons)の代替としての可能性を示している。
Kansはパラメータが少なく、メモリ使用量が減ったユニバーサル関数近似を提供する。
論文 参考訳（メタデータ） (2024-08-09T03:32:37Z) - Multi-Epoch learning with Data Augmentation for Deep Click-Through Rate Prediction [53.88231294380083]
非連続的な学習シナリオと連続的な学習シナリオの両方に適合する、新しいMulti-Epoch Learning with Data Augmentation (MEDA)フレームワークを導入する。
MEDAは、その後のトレーニングデータへの埋め込み層の依存性を減らし、過度な適合を最小化する。
実験の結果,プレトレーニングした層が新しい埋め込み空間に適応し,過度に適合することなく性能を向上できることが確認された。
論文 参考訳（メタデータ） (2024-06-27T04:00:15Z) - Let's Focus on Neuron: Neuron-Level Supervised Fine-tuning for Large Language Model [43.107778640669544]
大型言語モデル(LLM)は、様々な行動や役割を示すニューロンで構成されている。
最近の研究によると、全てのニューロンが異なるデータセットで活動しているわけではない。
我々は,パラメータ学習の粒度を個々のニューロンに絞り込む新しいアプローチであるNeFT(Neuron-Level Fine-Tuning)を導入する。
論文 参考訳（メタデータ） (2024-03-18T09:55:01Z) - The effect of data augmentation and 3D-CNN depth on Alzheimer's Disease
detection [51.697248252191265]
この研究は、データハンドリング、実験設計、モデル評価に関するベストプラクティスを要約し、厳密に観察する。
我々は、アルツハイマー病(AD)の検出に焦点を当て、医療における課題のパラダイム的な例として機能する。
このフレームワークでは,3つの異なるデータ拡張戦略と5つの異なる3D CNNアーキテクチャを考慮し,予測15モデルを訓練する。
論文 参考訳（メタデータ） (2023-09-13T10:40:41Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-06-08T05:44:06Z) - Relational Neural Markov Random Fields [29.43155380361715]
複雑なハイブリッドドメインの処理が可能な Markov Random Fields (RN-MRFs) を導入する。
本稿では,潜在的なパラメータを学習する上で重要となる擬似的推定に基づく学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-10-18T22:52:54Z) - MoEfication: Conditional Computation of Transformer Models for Efficient
Inference [66.56994436947441]
トランスフォーマーベースの事前学習言語モデルは、パラメータ容量が大きいため、ほとんどのNLPタスクにおいて優れた性能を実現することができるが、計算コストも大きい。
スパースアクティベーション現象に基づく条件計算により,大規模モデル推論を高速化する。
そこで本研究では,モデルサイズが等しいMoE(Mix-of-experts)バージョン,すなわちMoEficationに変換することを提案する。
論文 参考訳（メタデータ） (2021-10-05T02:14:38Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳（メタデータ） (2021-09-06T13:10:37Z) - An Investigation of Why Overparameterization Exacerbates Spurious
Correlations [98.3066727301239]
この動作を駆動するトレーニングデータの2つの重要な特性を特定します。
モデルの"記憶"に対する帰納的バイアスが,パラメータ化の超過を損なう可能性を示す。
論文 参考訳（メタデータ） (2020-05-09T01:59:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。