論文の概要: Forget-free Continual Learning with Soft-Winning SubNetworks

• arxiv url: http://arxiv.org/abs/2303.14962v1
• Date: Mon, 27 Mar 2023 07:53:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-28 16:37:19.346785
• Title: Forget-free Continual Learning with Soft-Winning SubNetworks
• Title（参考訳）: ソフトウィンディングサブネットワークを用いた忘れない連続学習
• Authors: Haeyong Kang, Jaehong Yoon, Sultan Rizky Madjid, Sung Ju Hwang, Chang D. Yoo
• Abstract要約: 本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。 WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。 タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
• 参考スコア（独自算出の注目度）: 67.0373924836107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inspired by Regularized Lottery Ticket Hypothesis (RLTH), which states that competitive smooth (non-binary) subnetworks exist within a dense network in continual learning tasks, we investigate two proposed architecture-based continual learning methods which sequentially learn and select adaptive binary- (WSN) and non-binary Soft-Subnetworks (SoftNet) for each task. WSN and SoftNet jointly learn the regularized model weights and task-adaptive non-binary masks of subnetworks associated with each task whilst attempting to select a small set of weights to be activated (winning ticket) by reusing weights of the prior subnetworks. Our proposed WSN and SoftNet are inherently immune to catastrophic forgetting as each selected subnetwork model does not infringe upon other subnetworks in Task Incremental Learning (TIL). In TIL, binary masks spawned per winning ticket are encoded into one N-bit binary digit mask, then compressed using Huffman coding for a sub-linear increase in network capacity to the number of tasks. Surprisingly, in the inference step, SoftNet generated by injecting small noises to the backgrounds of acquired WSN (holding the foregrounds of WSN) provides excellent forward transfer power for future tasks in TIL. SoftNet shows its effectiveness over WSN in regularizing parameters to tackle the overfitting, to a few examples in Few-shot Class Incremental Learning (FSCIL).
• Abstract（参考訳）: RLTH(Regularized Lottery Ticket hypothesis)は,連続学習タスクにおいて高密度ネットワーク内に競争円滑な(非バイナリ)サブネットが存在することを示唆し,各タスクに対して適応的バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習・選択するアーキテクチャに基づく連続学習手法を提案する。 WSNとSoftNetは、各タスクに関連するサブネットの正規化モデルウェイトとタスク適応型非バイナリマスクを共同で学習し、以前のサブネットのウェイトを再利用して、活性化される小さなウェイト(入賞券)を選択する。 提案したWSNとSoftNetは,各サブネットワークモデルがタスクインクリメンタルラーニング(TIL)における他のサブネットワークに侵害されないため,破滅的忘れに対して本質的に免疫を持つ。 TILでは、当選チケット毎に発生する二進マスクを1つのNビット二進数マスクに符号化し、ハフマン符号を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。 驚くべきことに、推論ステップでは、取得したwsn(wsnの前景を保持する)の背景に小さなノイズを注入して生じるソフトネットは、tilの今後のタスクに優れた転送能力を提供します。 SoftNetは、Few-shot Class Incremental Learning (FSCIL)のいくつかの例に対して、オーバーフィッティングに取り組むためのパラメータの正規化におけるWSNに対する効果を示している。

関連論文リスト

• Soft-TransFormers for Continual Learning [27.95463327680678]
  ソフトトランスフォーマー(Soft-TF)と呼ばれる完全微調整連続学習(CL)手法を提案する。 ソフトTFは、各タスクに対して最適なソフトネットワークやサブネットワークを逐次学習し、選択する。 推定において、Soft-TFのタスク適応型ネットワークは、事前学習されたネットワークのパラメータをマスクする。
  論文  参考訳（メタデータ） (2024-11-25T03:52:47Z)
• Continual Learning: Forget-free Winning Subnetworks for Video Representations [75.40220771931132]
  タスク性能の面でのサブネットワーク(WSN)の勝利は、様々な連続学習タスクに対して考慮される。 タスクインクリメンタルラーニング(TIL)とタスク非依存インクリメンタルラーニング(TaIL)のシナリオにおいて,既存のネットワークからの重み付けを活用して,効率的な学習を実現する。 ビデオインクリメンタルラーニング(VIL)におけるWSN内のフーリエサブニューラル演算子(FSO)の利用
  論文  参考訳（メタデータ） (2023-12-19T09:11:49Z)
• Optimization Guarantees of Unfolded ISTA and ADMM Networks With Smooth Soft-Thresholding [57.71603937699949]
  我々は,学習エポックの数の増加とともに,ほぼゼロに近いトレーニング損失を達成するための最適化保証について検討した。 トレーニングサンプル数に対する閾値は,ネットワーク幅の増加とともに増加することを示す。
  論文  参考訳（メタデータ） (2023-09-12T13:03:47Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
  継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。 ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。 IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
  論文  参考訳（メタデータ） (2023-06-18T05:26:49Z)
• On the Soft-Subnetwork for Few-shot Class Incremental Learning [67.0373924836107]
  本稿では,emphSoft-SubNetworks (SoftNet) と呼ばれる数発のクラスインクリメンタルラーニング(FSCIL)手法を提案する。 私たちの目的はセッションの連続を漸進的に学習することであり、各セッションは、以前に学習したセッションの知識を保持しながら、クラス毎にいくつかのトレーニングインスタンスのみを含む。 我々は、ベンチマークデータセットよりも最先端のベースラインのパフォーマンスを超越して、SoftNetが数発のインクリメンタル学習問題に効果的に取り組むことを示す、総合的な実証検証を提供する。
  論文  参考訳（メタデータ） (2022-09-15T04:54:02Z)
• Robust Continual Learning through a Comprehensively Progressive Bayesian Neural Network [1.4695979686066065]
  この研究は、一連のタスクの連続学習を堅牢に行うために、包括的に進歩的なベイズニューラルネットワークを提案する。 同様のタスクがすべてのタスクを公平に表現するために、同じ数のネットワークリソースを持つべきだという主張から始まります。 トレーニングの最後に冗長な重みは、その後のタスクで効率的に活用するために、再初期化によって刈り取られる。
  論文  参考訳（メタデータ） (2022-02-27T14:19:50Z)
• Self-Supervised Learning for Binary Networks by Joint Classifier Training [11.612308609123566]
  本稿では,バイナリネットワークのための自己教師付き学習手法を提案する。 バイナリネットワークのより良いトレーニングのために,特徴類似性損失,損失項の動的バランススキーム,マルチステージトレーニングの修正を提案する。 実証実験により、BSSLは、下流タスクにおけるバイナリネットワークの自己教師付き学習ベースラインよりも優れ、特定のタスクにおける教師付き事前学習よりも優れています。
  論文  参考訳（メタデータ） (2021-10-17T15:38:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。