論文の概要: On the Soft-Subnetwork for Few-shot Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2209.07529v1
- Date: Thu, 15 Sep 2022 04:54:02 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-19 11:49:13.625736
- Title: On the Soft-Subnetwork for Few-shot Class Incremental Learning
- Title（参考訳）: 授業増分学習のためのソフトサブネットについて
- Authors: Haeyong Kang, Jaehong Yoon, Sultan Rizky Hikmawan Madjid, Sung Ju
Hwang, Chang D. Yoo
- Abstract要約: 本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
- 参考スコア（独自算出の注目度）: 67.0373924836107
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which hypothesizes
that there exist smooth (non-binary) subnetworks within a dense network that
achieve the competitive performance of the dense network, we propose a few-shot
class incremental learning (FSCIL) method referred to as \emph{Soft-SubNetworks
(SoftNet)}. Our objective is to learn a sequence of sessions incrementally,
where each session only includes a few training instances per class while
preserving the knowledge of the previously learned ones. SoftNet jointly learns
the model weights and adaptive non-binary soft masks at a base training session
in which each mask consists of the major and minor subnetwork; the former aims
to minimize catastrophic forgetting during training, and the latter aims to
avoid overfitting to a few samples in each new training session. We provide
comprehensive empirical validations demonstrating that our SoftNet effectively
tackles the few-shot incremental learning problem by surpassing the performance
of state-of-the-art baselines over benchmark datasets.
- Abstract（参考訳）: RLTH(Regularized Lottery Ticket hypothesis)に触発されて、高密度ネットワークの競争性能を達成するような、スムーズな(非バイナリな)サブネットが存在するという仮説を立て、我々は'emph{Soft-SubNetworks (SoftNet)}と呼ばれる数ショットクラスインクリメンタルラーニング(FSCIL)手法を提案する。
私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。
SoftNetは、各マスクが主要なサブネットワークとマイナーなサブネットワークで構成されているベーストレーニングセッションにおいて、モデルウェイトと適応非バイナリのソフトマスクを共同で学習する。
我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
関連論文リスト
- Soft-TransFormers for Continual Learning [27.95463327680678]
ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。
ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。
推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
論文 参考訳（メタデータ） (2024-11-25T03:52:47Z) - Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。
タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。
ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
論文 参考訳（メタデータ） (2023-12-19T09:11:49Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。
WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。
タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
論文 参考訳（メタデータ） (2023-03-27T07:53:23Z) - Training Your Sparse Neural Network Better with Any Mask [106.134361318518]
高品質で独立したトレーニング可能なスパースマスクを作成するために、大規模なニューラルネットワークをプルーニングすることが望ましい。
本稿では、デフォルトの高密度ネットワークトレーニングプロトコルから逸脱するためにスパーストレーニングテクニックをカスタマイズできる別の機会を示す。
我々の新しいスパーストレーニングレシピは、スクラッチから様々なスパースマスクでトレーニングを改善するために一般的に適用されます。
論文 参考訳（メタデータ） (2022-06-26T00:37:33Z) - Self-Supervised Learning for Binary Networks by Joint Classifier
Training [11.612308609123566]
本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。
バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。
実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
論文 参考訳（メタデータ） (2021-10-17T15:38:39Z) - Learning Neural Network Subspaces [74.44457651546728]
近年の観測は,ニューラルネットワーク最適化の展望の理解を深めている。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
1つのモデルのトレーニングと同じ計算コストで、高精度ニューラルネットワークの線、曲線、単純軸を学習します。
論文 参考訳（メタデータ） (2021-02-20T23:26:58Z) - Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。
本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
論文 参考訳（メタデータ） (2020-04-01T13:31:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。