論文の概要: Exclusive Supermask Subnetwork Training for Continual Learning
- arxiv url: http://arxiv.org/abs/2210.10209v2
- Date: Wed, 5 Jul 2023 16:57:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-06 23:56:41.749525
- Title: Exclusive Supermask Subnetwork Training for Continual Learning
- Title（参考訳）: 連続学習のための排他的スーパーマスクサブネットワーク訓練
- Authors: Prateek Yadav, Mohit Bansal
- Abstract要約: 継続的な学習(CL)手法は、忘れることを避けながら、時間とともに知識を蓄積することに焦点を当てる。
本稿では,排他的および非重複的なサブネットワークウェイトトレーニングを行う ExSSNeT (Exclusive Supermask SubNEtwork Training) を提案する。
我々は,exSSNeT が従来の NLP と Vision の両領域において,忘れの防止を図りながら,従来手法よりも優れていたことを実証した。
- 参考スコア（独自算出の注目度）: 95.5186263127864
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning (CL) methods focus on accumulating knowledge over time
while avoiding catastrophic forgetting. Recently, Wortsman et al. (2020)
proposed a CL method, SupSup, which uses a randomly initialized, fixed base
network (model) and finds a supermask for each new task that selectively keeps
or removes each weight to produce a subnetwork. They prevent forgetting as the
network weights are not being updated. Although there is no forgetting, the
performance of SupSup is sub-optimal because fixed weights restrict its
representational power. Furthermore, there is no accumulation or transfer of
knowledge inside the model when new tasks are learned. Hence, we propose
ExSSNeT (Exclusive Supermask SubNEtwork Training), that performs exclusive and
non-overlapping subnetwork weight training. This avoids conflicting updates to
the shared weights by subsequent tasks to improve performance while still
preventing forgetting. Furthermore, we propose a novel KNN-based Knowledge
Transfer (KKT) module that utilizes previously acquired knowledge to learn new
tasks better and faster. We demonstrate that ExSSNeT outperforms strong
previous methods on both NLP and Vision domains while preventing forgetting.
Moreover, ExSSNeT is particularly advantageous for sparse masks that activate
2-10% of the model parameters, resulting in an average improvement of 8.3% over
SupSup. Furthermore, ExSSNeT scales to a large number of tasks (100). Our code
is available at https://github.com/prateeky2806/exessnet.
- Abstract（参考訳）: 継続的な学習(CL)手法は、破滅的な忘れ込みを避けながら、時間とともに知識を蓄積することに焦点を当てている。
最近、wortsman et al. (2020) はランダムに初期化された固定されたベースネットワーク(モデル)を使い、新しいタスクごとにスーパーマスクを見つけ、各重みを選択的に保持または削除してサブネットワークを生成するclメソッド supsup を提案した。
ネットワークの重みが更新されないため、忘れることを防ぐ。
忘れてはならないが、固定重みが表現力を制限するため、SupSupの性能は準最適である。
さらに、新しいタスクが学習された場合、モデル内に知識の蓄積や転送は行われない。
そこで我々はExSSNeT(Exclusive Supermask SubNEtwork Training)を提案する。
これにより、後続のタスクによる共有重みへの相反する更新が回避され、パフォーマンスが向上し、忘れてしまっている。
さらに,これまでに獲得した知識を活用し,新しいタスクをより高速に学習できる新しいknベースの知識伝達モジュールを提案する。
我々は,exSSNeTが,NLPとVisionの両方の領域において,忘れを防止しつつ,従来手法よりも優れていることを示す。
さらに、ExSSNeTはモデルパラメータの2-10%を活性化するスパースマスクに対して特に有利であり、SupSupよりも平均8.3%改善した。
さらに、ExSSNeTは多数のタスク(100)にスケールする。
私たちのコードはhttps://github.com/prateeky2806/exessnetで利用可能です。
関連論文リスト
- MixtureGrowth: Growing Neural Networks by Recombining Learned Parameters [19.358670728803336]
ほとんどのディープニューラルネットワークは、固定されたネットワークアーキテクチャの下でトレーニングされており、アーキテクチャの変更時に再トレーニングを必要とする。
これを回避するために、時間とともにランダムな重みを加えて小さなネットワークから成長させ、徐々にターゲットネットワークサイズを達成できる。
このナイーブなアプローチは、成長するプロセスに多くのノイズをもたらすため、実際には不足しています。
論文 参考訳（メタデータ） (2023-11-07T11:37:08Z) - IF2Net: Innately Forgetting-Free Networks for Continual Learning [49.57495829364827]
継続的な学習は、以前に学んだ知識に干渉することなく、新しい概念を漸進的に吸収することができる。
ニューラルネットワークの特性に触発され,本研究は,IF2Net(Innately Forgetting-free Network)の設計方法について検討した。
IF2Netは、1つのネットワークがテスト時にタスクのIDを告げることなく、本質的に無制限のマッピングルールを学習することを可能にする。
論文 参考訳（メタデータ） (2023-06-18T05:26:49Z) - Forget-free Continual Learning with Soft-Winning SubNetworks [67.0373924836107]
本稿では,各タスクに対して適応バイナリ(WSN)と非バイナリサブネット(SoftNet)を逐次学習し,選択する2つの連続学習手法について検討する。
WSNとSoftNetは、各タスクに関連する作業の正規化モデルウェイトとタスク適応非バイナリマスクを共同で学習する。
タスクインクリメンタルラーニング(TIL)では、当選チケット毎に生成されるバイナリマスクを1つのNビットのバイナリディジットマスクにエンコードし、ハフマン符号化を用いてタスク数に対するネットワーク容量のサブ線形増加のために圧縮する。
論文 参考訳（メタデータ） (2023-03-27T07:53:23Z) - Continual Prune-and-Select: Class-incremental learning with specialized
subnetworks [66.4795381419701]
CP&S(Continuous-Prune-and-Select)は、ImageNet-1000から10タスクを逐次学習できる。
これは、クラス増分学習における第一級の結果である。
論文 参考訳（メタデータ） (2022-08-09T10:49:40Z) - Incremental Task Learning with Incremental Rank Updates [20.725181015069435]
低ランク因数分解に基づく新しい漸進的タスク学習フレームワークを提案する。
提案手法は,現在の最先端手法よりも,精度と忘れやすさの点で優れていることを示す。
論文 参考訳（メタデータ） (2022-07-19T05:21:14Z) - Defeating Catastrophic Forgetting via Enhanced Orthogonal Weights
Modification [8.091211518374598]
本稿では,新しい学習課題の重み勾配が,新たな学習課題の入力空間と,学習課題の重み空間とによって連続的に決定されることを示す。
本稿では,拡張OWMによる効率的かつ効果的な連続学習手法であるEOWMを提案する。
論文 参考訳（メタデータ） (2021-11-19T07:40:48Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳（メタデータ） (2020-09-11T21:48:39Z) - Supermasks in Superposition [70.5780643117055]
本稿では,スーパーマスク・イン・スーパーポジション(SupSup)モデルを提案する。
提案手法はランダムに固定されたベースネットワークを用い,各タスクに対して,優れた性能を実現するサブネットワーク(スーパーマスク)を求める。
実際には、2500のタスクの中でも、1つの勾配ステップが正しいマスクを特定するのに十分であることがわかった。
論文 参考訳（メタデータ） (2020-06-26T03:16:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。