論文の概要: Soft-TransFormers for Continual Learning
- arxiv url: http://arxiv.org/abs/2411.16073v1
- Date: Mon, 25 Nov 2024 03:52:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-26 14:24:36.018394
- Title: Soft-TransFormers for Continual Learning
- Title（参考訳）: 連続学習のためのソフトトランスフォーマー
- Authors: Haeyong Kang, Chang D. Yoo,
- Abstract要約: ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。
ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。
推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
- 参考スコア（独自算出の注目度）: 27.95463327680678
- License:
- Abstract: Inspired by Well-initialized Lottery Ticket Hypothesis (WLTH), which provides suboptimal fine-tuning solutions, we propose a novel fully fine-tuned continual learning (CL) method referred to as Soft-TransFormers (Soft-TF). Soft-TF sequentially learns and selects an optimal soft-network or subnetwork for each task. During sequential training in CL, Soft-TF jointly optimizes the weights of sparse layers to obtain task-adaptive soft (real-valued) networks or subnetworks (binary masks), while keeping the well-pre-trained layer parameters frozen. In inference, the identified task-adaptive network of Soft-TF masks the parameters of the pre-trained network, mapping to an optimal solution for each task and minimizing Catastrophic Forgetting (CF) - the soft-masking preserves the knowledge of the pre-trained network. Extensive experiments on Vision Transformer (ViT) and CLIP demonstrate the effectiveness of Soft-TF, achieving state-of-the-art performance across various CL scenarios, including Class-Incremental Learning (CIL) and Task-Incremental Learning (TIL), supported by convergence theory.
- Abstract（参考訳）: 最適微調整ソリューションを提供するWLTH(Well-initialized Lottery Ticket hypothesis)に着想を得て,Soft-TransFormers(Soft-TF)と呼ばれる完全微調整連続学習法を提案する。
ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。
CLでのシーケンシャルトレーニングの間、Soft-TFはスパース層の重みを共同で最適化し、順応性のあるソフトなネットワークやサブネット(バイナリマスク)を得る。
推定において、Soft-TFのタスク適応型ネットワークは、事前訓練されたネットワークのパラメータをマスクし、各タスクの最適解にマッピングし、カタストロフィック・フォーッティング(CF)を最小化する。
ViT(Vision Transformer)とCLIP(CLIP)の広範な実験は、収束理論によって支えられたクラス増分学習(Class-Incremental Learning, CIL)やタスク増分学習(Task-Incremental Learning, TIL)など、さまざまなCLシナリオにおける最先端性能を実現する、Soft-TFの有効性を実証している。
関連論文リスト
- SLCA++: Unleash the Power of Sequential Fine-tuning for Continual Learning with Pre-training [68.7896349660824]
本稿では,Seq FTのレンズからの進行オーバーフィッティング問題を詳細に解析する。
過度に高速な表現学習と偏りのある分類層がこの問題を構成することを考慮し、先進的なSlow Learner with Alignment(S++)フレームワークを導入する。
提案手法は,バックボーンパラメータの学習率を選択的に減少させるスローラーナーと,ポストホック方式で不規則な分類層を整列させるアライメントを含む。
論文 参考訳（メタデータ） (2024-08-15T17:50:07Z) - Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。
タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。
ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
論文 参考訳（メタデータ） (2023-12-19T09:11:49Z) - Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth
Soft-Thresholding [57.71603937699949]
我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。
トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
論文 参考訳（メタデータ） (2023-09-12T13:03:47Z) - ConvBLS: An Effective and Efficient Incremental Convolutional Broad
Learning System for Image Classification [63.49762079000726]
球状K-means(SKM)アルゴリズムと2段階マルチスケール(TSMS)機能融合に基づく畳み込み広範学習システム(ConvBLS)を提案する。
提案手法は前代未聞の効率的かつ効果的である。
論文 参考訳（メタデータ） (2023-04-01T04:16:12Z) - Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。
WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。
タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
論文 参考訳（メタデータ） (2023-03-27T07:53:23Z) - On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
論文 参考訳（メタデータ） (2022-09-15T04:54:02Z) - Regularized Adaptation for Stable and Efficient Continuous-Level
Learning on Image Processing Networks [7.730087303035803]
フィルタ遷移ネットワーク(FTN)を用いた新しい連続レベル学習フレームワークを提案する。
FTNは、新しいレベルに容易に適応できる非線形モジュールであり、望ましくない副作用を防ぐために正規化されている。
様々な画像処理結果から,FTNの性能は適応性および適応性において安定であることが示唆された。
論文 参考訳（メタデータ） (2020-03-11T07:46:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。