論文の概要: Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning
- arxiv url: http://arxiv.org/abs/2507.04020v1
- Date: Sat, 05 Jul 2025 12:23:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:34.978376
- Title: Exploring Kolmogorov-Arnold Network Expansions in Vision Transformers for Mitigating Catastrophic Forgetting in Continual Learning
- Title（参考訳）: 連続学習におけるカタストロフィックフォーミングの緩和を目的とした視覚変換器のコルモゴロフ・アルノルドネットワーク拡張の探索
- Authors: Zahid Ullah, Jihie Kim,
- Abstract要約: 連続学習(CL)は、以前獲得した知識を忘れずに新しいタスクを学習するモデルの能力であり、人工知能において重要な課題である。
この研究は、ViTの忘れ物をKolmogorov-Arnoldsに置き換えることを提案する。
カンはスプラインをベースとした活性化によって局所的な可塑性を活用し、サンプルごとにパラメータのサブセットが更新されることを保証する。
- 参考スコア（独自算出の注目度）: 3.776159955137874
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL), the ability of a model to learn new tasks without forgetting previously acquired knowledge, remains a critical challenge in artificial intelligence, particularly for vision transformers (ViTs) utilizing Multilayer Perceptrons (MLPs) for global representation learning. Catastrophic forgetting, where new information overwrites prior knowledge, is especially problematic in these models. This research proposes replacing MLPs in ViTs with Kolmogorov-Arnold Network (KANs) to address this issue. KANs leverage local plasticity through spline-based activations, ensuring that only a subset of parameters is updated per sample, thereby preserving previously learned knowledge. The study investigates the efficacy of KAN-based ViTs in CL scenarios across benchmark datasets (MNIST, CIFAR100), focusing on their ability to retain accuracy on earlier tasks while adapting to new ones. Experimental results demonstrate that KAN-based ViTs significantly mitigate catastrophic forgetting, outperforming traditional MLP-based ViTs in knowledge retention and task adaptation. This novel integration of KANs into ViTs represents a promising step toward more robust and adaptable models for dynamic environments.
- Abstract（参考訳）: 連続学習(CL)は、これまでに獲得した知識を忘れずに新しいタスクを学習するモデルの能力であり、特にグローバルな表現学習に多層パーセプトロン(MLP)を利用する視覚変換器(ViT)にとって、人工知能において重要な課題である。
新しい情報が事前知識を上書きする破滅的な忘れは、これらのモデルで特に問題となる。
本研究では, ViT の MLP を Kolmogorov-Arnold Network (KAN) に置き換えることを提案する。
Kansはスプラインベースのアクティベーションを通じて局所的な可塑性を活用し、パラメータのサブセットがサンプル毎に更新されることを保証する。
本研究は,ベンチマークデータセット(MNIST, CIFAR100)にまたがるCLシナリオにおける Kan-based ViTs の有効性を検討した。
実験の結果,kan-based ViTsは破滅的な忘れ込みを著しく軽減し,知識保持やタスク適応において従来のMLPベースのViTよりも優れていた。
この新しいKansをViTsに統合することは、動的環境に対するより堅牢で適応可能なモデルに向けた有望なステップである。
関連論文リスト
- Orthogonal Projection Subspace to Aggregate Online Prior-knowledge for Continual Test-time Adaptation [67.80294336559574]
連続テスト時間適応(CTTA)は、新しいシナリオに継続的に適応するために、ソース事前訓練されたモデルを必要とするタスクである。
我々は、OoPkと呼ばれるオンライン事前知識を集約する新しいパイプラインOrthogonal Projection Subspaceを提案する。
論文 参考訳（メタデータ） (2025-06-23T18:17:39Z) - Beyond CLIP Generalization: Against Forward&Backward Forgetting Adapter for Continual Learning of Vision-Language Models [19.71113926850385]
AFA法は、既存の最先端アプローチを著しく上回る。
転送可能性という点では、CLIPの本質的にゼロショットのパフォーマンスを上回っている。
論文 参考訳（メタデータ） (2025-05-12T15:56:23Z) - Adaptive Additive Parameter Updates of Vision Transformers for Few-Shot Continual Learning [0.0]
FSCIL(Few-shot class incremental learning)は、最初にベースクラスの堅牢なデータセット上でモデルをトレーニングし、連続したセッションでそれを漸進的に適応することによって、この問題に対処する。
このアプローチは、制限された新しいデータに過度に適合する傾向があり、全体的なパフォーマンスを損なうとともに、忘れを悪化させる可能性がある。
パラメータ効率のよい加算更新を付加した凍結型ビジョントランスフォーマー(ViT)バックボーンを利用する新しいFSCILフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-11T21:17:30Z) - Temporal-Difference Variational Continual Learning [89.32940051152782]
複数の先行推定の正則化効果を統合する新たな学習目標を提案する。
提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
論文 参考訳（メタデータ） (2024-10-10T10:58:41Z) - A Survey of the Self Supervised Learning Mechanisms for Vision Transformers [5.152455218955949]
視覚変換器(ViT)は近年,コンピュータビジョンタスクにおいて顕著な性能を示した。
この課題に応えて、自己教師型学習(SSL)が有望なパラダイムとして登場した。
本稿では,その表現と事前学習タスクに基づいてSSLテクニックを分類する包括的分類法を提案する。
論文 参考訳（メタデータ） (2024-08-30T07:38:28Z) - Learn from the Learnt: Source-Free Active Domain Adaptation via Contrastive Sampling and Visual Persistence [60.37934652213881]
ドメイン適応(DA)は、ソースドメインから関連するターゲットドメインへの知識伝達を容易にする。
本稿では、ソースデータフリーなアクティブドメイン適応(SFADA)という実用的なDAパラダイムについて検討する。
本稿では,学習者学習(LFTL)というSFADAの新たなパラダイムを紹介し,学習した学習知識を事前学習モデルから活用し,余分なオーバーヘッドを伴わずにモデルを積極的に反復する。
論文 参考訳（メタデータ） (2024-07-26T17:51:58Z) - CLIP with Generative Latent Replay: a Strong Baseline for Incremental Learning [17.614980614656407]
インクリメンタル・プロンプト学習のための連続的生成学習を提案する。
変分オートエンコーダを用いてクラス条件分布を学習する。
このような生成的リプレイアプローチは、ゼロショット機能を改善しつつ、新しいタスクに適応できることを示す。
論文 参考訳（メタデータ） (2024-07-22T16:51:28Z) - Exploring Efficient Few-shot Adaptation for Vision Transformers [70.91692521825405]
そこで本稿では,Few-shot LearningタスクにおけるVTの微調整を容易にするトランスフォーマーチューニング(eTT)手法を提案する。
新しく発表されたAttentive Prefix Tuning(APT)とDomain Residual Adapter(DRA)の主な新機能
我々は,我々のモデルの有効性を示す広範囲な実験を行った。
論文 参考訳（メタデータ） (2023-01-06T08:42:05Z) - Self-Promoted Supervision for Few-Shot Transformer [178.52948452353834]
SUN(Self-promoted sUpervisioN)は視覚変換器(ViT)のための数発の学習フレームワークである
SUNは、数ショットの学習データセットでViTを事前トレーニングし、各パッチトークンを導くために、個別のロケーション固有の監視を生成する。
実験によると、ViTを使ったSUNは、ViTを使った他の数発の学習フレームワークを大幅に上回っており、CNNの最先端技術よりも高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2022-03-14T12:53:27Z) - Benchmarking Detection Transfer Learning with Vision Transformers [60.97703494764904]
オブジェクト検出メソッドの複雑さは、ViT(Vision Transformer)モデルのような新しいアーキテクチャが到着するときに、ベンチマークを非簡単にする。
本研究では,これらの課題を克服し,標準的なVTモデルをMask R-CNNのバックボーンとして活用する訓練手法を提案する。
その結果,最近のマスキングに基づく教師なし学習手法は,COCOにおける説得力のあるトランスファー学習改善をもたらす可能性が示唆された。
論文 参考訳（メタデータ） (2021-11-22T18:59:15Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。