論文の概要: A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks
- arxiv url: http://arxiv.org/abs/2409.13550v1
- Date: Fri, 20 Sep 2024 14:49:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-26 03:00:05.738141
- Title: A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks
- Title(参考訳): Kolmogorov-Arnold Networks を用いたコンピュータビジョンにおける連続学習に関する予備的検討
- Authors: Alessandro Cacciatore, Valerio Morelli, Federica Paganica, Emanuele Frontoni, Lucia Migliorelli, Daniele Berardini,
- Abstract要約: Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。
Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。
コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
- 参考スコア(独自算出の注目度): 43.70716358136333
- License:
- Abstract: Deep learning has long been dominated by multi-layer perceptrons (MLPs), which have demonstrated superiority over other optimizable models in various domains. Recently, a new alternative to MLPs has emerged - Kolmogorov-Arnold Networks (KAN)- which are based on a fundamentally different mathematical framework. According to their authors, KANs address several major issues in MLPs, such as catastrophic forgetting in continual learning scenarios. However, this claim has only been supported by results from a regression task on a toy 1D dataset. In this paper, we extend the investigation by evaluating the performance of KANs in continual learning tasks within computer vision, specifically using the MNIST datasets. To this end, we conduct a structured analysis of the behavior of MLPs and two KAN-based models in a class-incremental learning scenario, ensuring that the architectures involved have the same number of trainable parameters. Our results demonstrate that an efficient version of KAN outperforms both traditional MLPs and the original KAN implementation. We further analyze the influence of hyperparameters in MLPs and KANs, as well as the impact of certain trainable parameters in KANs, such as bias and scale weights. Additionally, we provide a preliminary investigation of recent KAN-based convolutional networks and compare their performance with that of traditional convolutional neural networks. Our codes can be found at https://github.com/MrPio/KAN-Continual_Learning_tests.
- Abstract(参考訳): 深層学習は多層パーセプトロン (MLP) に支配されており、様々な領域における他の最適化可能なモデルよりも優れていることが示されている。
近年,MLPの代替としてKAN(Kolmogorov-Arnold Networks)が登場している。
著者らによると、Kansは、連続的な学習シナリオにおける破滅的な忘れ込みなど、MLPにおけるいくつかの大きな問題に対処している。
しかし、この主張はおもちゃの1Dデータセットの回帰タスクの結果によってのみ支持されている。
本稿では,コンピュータビジョンにおける継続学習タスクにおけるkanのパフォーマンスを評価することで,特にMNISTデータセットを用いて調査を拡大する。
そこで我々は,MLPと2つのKANモデルの構造的解析を行い,関連するアーキテクチャが同一数のトレーニング可能なパラメータを持つことを保証した。
提案手法は, 従来のMPPとオリジナルのKANの実装の両方において, 効率の良いバージョンのKANが優れていることを示す。
さらに, MLP および Kan におけるハイパーパラメータの影響と, バイアスやスケールウェイトなどのkan におけるトレーニング可能なパラメータの影響を解析した。
さらに,最近のkanベースの畳み込みニューラルネットワークの予備調査を行い,その性能を従来の畳み込みニューラルネットワークと比較する。
私たちのコードはhttps://github.com/MrPio/KAN-Continual_Learning_testsで確認できます。
関連論文リスト
- A Benchmarking Study of Kolmogorov-Arnold Networks on Tabular Data [14.654403764632594]
Kolmogorov-Arnold Networks (KAN)は機械学習の世界に導入され、コミュニティ全体の注目を集めている。
本稿では,データセット上でのKansとMulti-Layer Perceptrons(MLP)を比較したベンチマーク研究を提案する。
Kansは、特に多数のインスタンスを持つデータセットにおいて優れた、あるいは同等の精度とF1スコアを示している。
論文 参考訳(メタデータ) (2024-06-20T17:41:34Z) - A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks [8.573300153709358]
Kolmogorov-Arnold Networks (KAN) は、最近標準表現モデルに代わる表現モデルとして導入された。
そこで我々はkansを用いて機械学習モデル(PIKAN)とDeep operatorモデル(DeepokaN)を構築し、前方および逆問題に対する微分方程式を解く。
論文 参考訳(メタデータ) (2024-06-05T04:10:36Z) - Robust Learning with Progressive Data Expansion Against Spurious
Correlation [65.83104529677234]
本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。
分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。
本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-06-08T05:44:06Z) - Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。
本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
論文 参考訳(メタデータ) (2022-03-23T12:52:49Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Improved Memories Learning [4.784658158364452]
Improved Memories Learning (IMeL)は、強化学習(RL)を教師付き学習(SL)問題に変換する新しいアルゴリズムである。
本稿では,より複雑なモデルと帰納的バイアスの利点を評価するためのベースライン手法としてIMeLを提案する。
論文 参考訳(メタデータ) (2020-08-24T13:37:15Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳(メタデータ) (2020-07-02T17:55:47Z) - Online Kernel based Generative Adversarial Networks [0.45880283710344055]
オンラインカーネルベースのジェネレーティブ・アドバイザリアル・ネットワーク(OKGAN)は,モード崩壊やサイクリングなど,多くのトレーニング問題を緩和する。
OKGANは、合成データ上の他のGANの定式化よりも、逆KL偏差に対して、劇的に優れた性能を発揮する。
論文 参考訳(メタデータ) (2020-06-19T22:54:01Z) - Recent Developments Combining Ensemble Smoother and Deep Generative
Networks for Facies History Matching [58.720142291102135]
本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。
本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
論文 参考訳(メタデータ) (2020-05-08T21:32:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。