論文の概要: Sub-network Discovery and Soft-masking for Continual Learning of Mixed
Tasks
- arxiv url: http://arxiv.org/abs/2310.09436v1
- Date: Fri, 13 Oct 2023 23:00:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 20:33:48.392173
- Title: Sub-network Discovery and Soft-masking for Continual Learning of Mixed
Tasks
- Title(参考訳): 混合タスクの連続学習のためのサブネットワーク探索とソフトマスキング
- Authors: Zixuan Ke, Bing Liu, Wenhan Xiong, Asli Celikyilmaz, Haoran Li
- Abstract要約: 本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。
サブネットワークを発見して各タスクの知識を分離することでCFを克服する。
従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
- 参考スコア(独自算出の注目度): 46.96149283885802
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Continual learning (CL) has two main objectives: preventing catastrophic
forgetting (CF) and encouraging knowledge transfer (KT). The existing
literature mainly focused on overcoming CF. Some work has also been done on KT
when the tasks are similar. To our knowledge, only one method has been proposed
to learn a sequence of mixed tasks. However, these techniques still suffer from
CF and/or limited KT. This paper proposes a new CL method to achieve both. It
overcomes CF by isolating the knowledge of each task via discovering a
subnetwork for it. A soft-masking mechanism is also proposed to preserve the
previous knowledge and to enable the new task to leverage the past knowledge to
achieve KT. Experiments using classification, generation, information
extraction, and their mixture (i.e., heterogeneous tasks) show that the
proposed method consistently outperforms strong baselines.
- Abstract(参考訳): 連続学習(CL)には、破滅的忘れ(CF)の予防と知識伝達(KT)の促進という2つの目的がある。
既存の文献は主にcfを克服することに焦点を当てている。
タスクが似ている場合、KT上でもいくつかの作業が行われている。
我々の知る限り、混合タスクのシーケンスを学習する手法は1つしか提案されていない。
しかし、これらの技術は依然としてcfおよび/または制限ktに苦しむ。
本稿では,両立のための新しいcl法を提案する。
サブネットワークを発見して各タスクの知識を分離することでCFを克服する。
以前の知識を保存し、新しいタスクが過去の知識を活用してktを達成するためのソフトマスキング機構も提案されている。
分類,生成,情報抽出,およびそれらの混合(異種タスク)を用いた実験は,提案手法が強いベースラインを一貫して上回ることを示す。
関連論文リスト
- Learning to Prompt Knowledge Transfer for Open-World Continual Learning [13.604171414847531]
Pro-KTは,オープンワールド連続学習のための新しい知識伝達モデルである。
Pro-KTは、(1)タスクジェネリックな知識とタスク固有の知識の両方をエンコードし、転送するプロンプトバンク、(2)タスクアウェアなオープンセット境界により、新しいタスクの未知を識別する。
論文 参考訳(メタデータ) (2023-12-22T11:53:31Z) - Parameter-Level Soft-Masking for Continual Learning [12.290968171255349]
従来のタスクに対する各パラメータの重要性に基づいたトレーニングにおいて,ソフトマスクパラメータを更新する手法(SPG)が提案されている。
私たちの知る限り、これは連続学習のためのパラメータレベルでモデルをソフトマスクする最初の作品です。
論文 参考訳(メタデータ) (2023-06-26T15:35:27Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment
Classification Tasks [22.28374603976649]
本稿では、アスペクト感情分類(ASC)タスクの連続的な学習について研究する。
一連のASCタスクを漸進的に学習するCLシステムは、以下の2つの問題に対処する必要がある。
これらの問題に対処するために、B-CLと呼ばれる新しいカプセルネットワークモデルが提案されている。
論文 参考訳(メタデータ) (2021-12-06T02:46:06Z) - Achieving Forgetting Prevention and Knowledge Transfer in Continual
Learning [22.83874590642864]
連続学習は、破滅的忘れ(CF)の克服と知識伝達(KT)の2つの目的を達成するために、一連のタスクを学習する
既存の技術のほとんどはCFを克服することだけに重点を置いており、KTを促進するメカニズムがないため、KTではうまく機能しない。
本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。
論文 参考訳(メタデータ) (2021-12-05T23:13:13Z) - Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。
抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
論文 参考訳(メタデータ) (2021-09-10T07:20:43Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - KSM: Fast Multiple Task Adaption via Kernel-wise Soft Mask Learning [49.77278179376902]
Deep Neural Networks (DNN)は、新しいタスクを学ぶときの以前のタスクに関する知識を忘れることができ、これはtextitcatastrophic forgettingとして知られている。
最近の連続学習手法は、玩具サイズのデータセットにおける破滅的な問題を緩和することができる。
我々は,各タスクに対して,カーネルワイドなハイブリッドな2値マスクと実値のソフトマスクを学習する,textit- Kernel-wise Soft Mask (KSM) と呼ばれる新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2020-09-11T21:48:39Z) - Knowledge Transfer via Dense Cross-Layer Mutual-Distillation [24.24969126783315]
教師と学生のネットワークをゼロから協調的に訓練するDense Cross-layer Mutual-distillation (DCM)を提案する。
KT性能を高めるために,付加型分類器を用いた層間双方向KD操作を導入する。
提案手法は様々なKTタスクでテストし,関連する手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-08-18T09:25:08Z) - Learning From Multiple Experts: Self-paced Knowledge Distillation for
Long-tailed Classification [106.08067870620218]
我々は,LFME(Learning From Multiple Experts)と呼ばれる自己評価型知識蒸留フレームワークを提案する。
提案するLFMEフレームワークは,複数の'Experts'からの知識を集約して,統一された学生モデルを学ぶ。
提案手法は,最先端の手法に比べて優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2020-01-06T12:57:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。