論文の概要: A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2409.13550v1
• Date: Fri, 27 Sep 2024 15:41:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 06:30:58.144588
• Title: A preliminary study on continual learning in computer vision using Kolmogorov-Arnold Networks
• Title（参考訳）: Kolmogorov-Arnold Networks を用いたコンピュータビジョンにおける連続学習に関する予備的検討
• Authors: Alessandro Cacciatore, Valerio Morelli, Federica Paganica, Emanuele Frontoni, Lucia Migliorelli, Daniele Berardini,
• Abstract要約: Kolmogorov-Networks (KAN) は基本的に異なる数学的枠組みに基づいている。 Kansは継続的学習シナリオの忘れなど,いくつかの大きな問題に対処している。 コンピュータビジョンにおける連続的な学習課題における感性の評価によって調査を拡大する。
• 参考スコア（独自算出の注目度）: 43.70716358136333
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has long been dominated by multi-layer perceptrons (MLPs), which have demonstrated superiority over other optimizable models in various domains. Recently, a new alternative to MLPs has emerged - Kolmogorov-Arnold Networks (KAN)- which are based on a fundamentally different mathematical framework. According to their authors, KANs address several major issues in MLPs, such as catastrophic forgetting in continual learning scenarios. However, this claim has only been supported by results from a regression task on a toy 1D dataset. In this paper, we extend the investigation by evaluating the performance of KANs in continual learning tasks within computer vision, specifically using the MNIST datasets. To this end, we conduct a structured analysis of the behavior of MLPs and two KAN-based models in a class-incremental learning scenario, ensuring that the architectures involved have the same number of trainable parameters. Our results demonstrate that an efficient version of KAN outperforms both traditional MLPs and the original KAN implementation. We further analyze the influence of hyperparameters in MLPs and KANs, as well as the impact of certain trainable parameters in KANs, such as bias and scale weights. Additionally, we provide a preliminary investigation of recent KAN-based convolutional networks and compare their performance with that of traditional convolutional neural networks. Our codes can be found at https://github.com/MrPio/KAN-Continual_Learning_tests.
• Abstract（参考訳）: 深層学習は多層パーセプトロン (MLP) に支配されており、様々な領域における他の最適化可能なモデルよりも優れていることが示されている。 近年,MLPの代替としてKAN(Kolmogorov-Arnold Networks)が登場している。 著者らによると、Kansは、連続的な学習シナリオにおける破滅的な忘れ込みなど、MLPにおけるいくつかの大きな問題に対処している。 しかし、この主張はおもちゃの1Dデータセットの回帰タスクの結果によってのみ支持されている。 本稿では,コンピュータビジョンにおける継続学習タスクにおけるkanのパフォーマンスを評価することで,特にMNISTデータセットを用いて調査を拡大する。 そこで我々は,MLPと2つのKANモデルの構造的解析を行い,関連するアーキテクチャが同一数のトレーニング可能なパラメータを持つことを保証した。 提案手法は, 従来のMPPとオリジナルのKANの実装の両方において, 効率の良いバージョンのKANが優れていることを示す。 さらに, MLP および Kan におけるハイパーパラメータの影響と, バイアスやスケールウェイトなどのkan におけるトレーニング可能なパラメータの影響を解析した。 さらに,最近のkanベースの畳み込みニューラルネットワークの予備調査を行い,その性能を従来の畳み込みニューラルネットワークと比較する。 私たちのコードはhttps://github.com/MrPio/KAN-Continual_Learning_testsで確認できます。

関連論文リスト

• Kolmogorov-Arnold Network Autoencoders [0.0]
  Kolmogorov-Arnold Networks (KAN)はMulti-Layer Perceptrons (MLP)に代わる有望な代替品である。 カンはコルモゴロフ・アルノルドの表現定理と密接に一致し、モデル精度と解釈可能性の両方を高める可能性がある。 この結果から,kanベースのオートエンコーダは復元精度の点で競争力を発揮することが示された。
  論文  参考訳（メタデータ） (2024-10-02T22:56:00Z)
• Kolmogorov-Arnold Networks in Low-Data Regimes: A Comparative Study with Multilayer Perceptrons [2.77390041716769]
  Kolmogorov-Arnold Networks (KAN) は、ネットワークエッジ上で直接、高度に柔軟な学習可能なアクティベーション関数を使用する。 kanは学習可能なパラメータの数を大幅に増加させ、データスカース環境での有効性に対する懸念を高めます。 個別化活性化関数はパラメータの緩やかな増加だけで予測精度が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-09-16T16:56:08Z)
• KAN v.s. MLP for Offline Reinforcement Learning [4.3621896506713185]
  Kolmogorov-Arnold Networks (KAN)は、機械学習における新たなニューラルネットワークアーキテクチャである。 本稿では,オフライン強化学習のためのアクターおよび批評家ネットワークへのkanの組み入れについて検討する。
  論文  参考訳（メタデータ） (2024-09-15T07:52:44Z)
• Kolmogorov-Arnold Network for Online Reinforcement Learning [0.22615818641180724]
  Kolmogorov-Arnold Networks (KANs)は、ニューラルネットワークにおけるMLP(Multi-Layer Perceptrons)の代替としての可能性を示している。 Kansはパラメータが少なく、メモリ使用量が減ったユニバーサル関数近似を提供する。
  論文  参考訳（メタデータ） (2024-08-09T03:32:37Z)
• A comprehensive and FAIR comparison between MLP and KAN representations for differential equations and operator networks [8.573300153709358]
  Kolmogorov-Arnold Networks (KAN) は、最近標準表現モデルに代わる表現モデルとして導入された。 そこで我々はkansを用いて機械学習モデル(PIKAN)とDeep operatorモデル(DeepokaN)を構築し、前方および逆問題に対する微分方程式を解く。
  論文  参考訳（メタデータ） (2024-06-05T04:10:36Z)
• Robust Learning with Progressive Data Expansion Against Spurious Correlation [65.83104529677234]
  本研究では,2層非線形畳み込みニューラルネットワークの学習過程について検討した。 分析の結果,不均衡なデータ群と学習容易なスプリアス特徴が学習過程におけるスプリアス特徴の優位性に繋がる可能性が示唆された。 本稿では,PDEと呼ばれる新たなトレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-06-08T05:44:06Z)
• Dynamically-Scaled Deep Canonical Correlation Analysis [77.34726150561087]
  カノニカル相関解析 (CCA) は, 2つのビューの特徴抽出手法である。 本稿では,入力依存の正準相関モデルをトレーニングするための新しい動的スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2022-03-23T12:52:49Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Recent Developments Combining Ensemble Smoother and Deep Generative Networks for Facies History Matching [58.720142291102135]
  本研究は、ファシズムモデルのための連続パラメータ化を構築するためのオートエンコーダネットワークの利用に焦点を当てる。 本稿では,VAE,GAN,Wasserstein GAN,変分自動符号化GAN,サイクルGANの主成分分析(PCA),転送スタイルネットワークのPCA,スタイル損失のVAEの7種類の定式化をベンチマークする。
  論文  参考訳（メタデータ） (2020-05-08T21:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。