論文の概要: Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning

• arxiv url: http://arxiv.org/abs/2507.04020v1
• Date: Sat, 05 Jul 2025 12:23:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:34.978376
• Title: Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning
• Title（参考訳）: 連続学習におけるカタストロフィックフォーミングの緩和を目的とした視覚変換器のコルモゴロフ・アルノルドネットワーク拡張の探索
• Authors: Zahid Ullah, Jihie Kim,
• Abstract要約: 連続学習(CL)は、以前獲得した知識を忘れずに新しいタスクを学習するモデルの能力であり、人工知能において重要な課題である。 この研究は、ViTの忘れ物をKolmogorov-Arnoldsに置き換えることを提案する。 カンはスプラインをベースとした活性化によって局所的な可塑性を活用し、サンプルごとにパラメータのサブセットが更新されることを保証する。
• 参考スコア（独自算出の注目度）: 3.776159955137874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL), the ability of a model to learn new tasks without forgetting previously acquired knowledge, remains a critical challenge in artificial intelligence, particularly for vision transformers (ViTs) utilizing Multilayer Perceptrons (MLPs) for global representation learning. Catastrophic forgetting, where new information overwrites prior knowledge, is especially problematic in these models. This research proposes replacing MLPs in ViTs with Kolmogorov-Arnold Network (KANs) to address this issue. KANs leverage local plasticity through spline-based activations, ensuring that only a subset of parameters is updated per sample, thereby preserving previously learned knowledge. The study investigates the efficacy of KAN-based ViTs in CL scenarios across benchmark datasets (MNIST, CIFAR100), focusing on their ability to retain accuracy on earlier tasks while adapting to new ones. Experimental results demonstrate that KAN-based ViTs significantly mitigate catastrophic forgetting, outperforming traditional MLP-based ViTs in knowledge retention and task adaptation. This novel integration of KANs into ViTs represents a promising step toward more robust and adaptable models for dynamic environments.
• Abstract（参考訳）: 連続学習(CL)は、これまでに獲得した知識を忘れずに新しいタスクを学習するモデルの能力であり、特にグローバルな表現学習に多層パーセプトロン(MLP)を利用する視覚変換器(ViT)にとって、人工知能において重要な課題である。 新しい情報が事前知識を上書きする破滅的な忘れは、これらのモデルで特に問題となる。 本研究では, ViT の MLP を Kolmogorov-Arnold Network (KAN) に置き換えることを提案する。 Kansはスプラインベースのアクティベーションを通じて局所的な可塑性を活用し、パラメータのサブセットがサンプル毎に更新されることを保証する。 本研究は,ベンチマークデータセット(MNIST, CIFAR100)にまたがるCLシナリオにおける Kan-based ViTs の有効性を検討した。 実験の結果,kan-based ViTsは破滅的な忘れ込みを著しく軽減し,知識保持やタスク適応において従来のMLPベースのViTよりも優れていた。 この新しいKansをViTsに統合することは、動的環境に対するより堅牢で適応可能なモデルに向けた有望なステップである。

関連論文リスト

• Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
  連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。 我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
  論文  参考訳（メタデータ） (2025-06-23T18:17:39Z)
• Temporal-Difference Variational Continual Learning [89.32940051152782]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
  ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。 本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。 本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
  論文  参考訳（メタデータ） (2024-07-26T17:51:58Z)
• CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
  インクリメンタル・プロンプト学習のための連続的生成学習を提案する。 変分オートエンコーダを用いてクラス条件分布を学習する。 このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
  論文  参考訳（メタデータ） (2024-07-22T16:51:28Z)
• Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
  そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。 新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能 我々は,我々のモデルの有効性を示す広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-01-06T08:42:05Z)
• Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
  SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。 実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-03-14T12:53:27Z)
• Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
  オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。 本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。 その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2021-11-22T18:59:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。