論文の概要: Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks

• arxiv url: http://arxiv.org/abs/2310.09436v1
• Date: Fri, 13 Oct 2023 23:00:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-17 20:33:48.392173
• Title: Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks
• Title（参考訳）: 混合タスクの連続学習のためのサブネットワーク探索とソフトマスキング
• Authors: Zixuan Ke, Bing Liu, Wenhan Xiong, Asli Celikyilmaz, Haoran Li
• Abstract要約: 本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
• 参考スコア（独自算出の注目度）: 46.96149283885802
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Continual learning (CL) has two main objectives: preventing catastrophic forgetting (CF) and encouraging knowledge transfer (KT). The existing literature mainly focused on overcoming CF. Some work has also been done on KT when the tasks are similar. To our knowledge, only one method has been proposed to learn a sequence of mixed tasks. However, these techniques still suffer from CF and/or limited KT. This paper proposes a new CL method to achieve both. It overcomes CF by isolating the knowledge of each task via discovering a subnetwork for it. A soft-masking mechanism is also proposed to preserve the previous knowledge and to enable the new task to leverage the past knowledge to achieve KT. Experiments using classification, generation, information extraction, and their mixture (i.e., heterogeneous tasks) show that the proposed method consistently outperforms strong baselines.
• Abstract（参考訳）: 連続学習(CL)には、破滅的忘れ(CF)の予防と知識伝達(KT)の促進という2つの目的がある。 既存の文献は主にcfを克服することに焦点を当てている。 タスクが似ている場合、KT上でもいくつかの作業が行われている。 我々の知る限り、混合タスクのシーケンスを学習する手法は1つしか提案されていない。 しかし、これらの技術は依然としてcfおよび/または制限ktに苦しむ。 本稿では,両立のための新しいcl法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 以前の知識を保存し、新しいタスクが過去の知識を活用してktを達成するためのソフトマスキング機構も提案されている。 分類,生成,情報抽出,およびそれらの混合(異種タスク)を用いた実験は,提案手法が強いベースラインを一貫して上回ることを示す。

関連論文リスト

• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• A Unified and General Framework for Continual Learning [58.72671755989431]
  継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。 正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。 本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
  論文  参考訳（メタデータ） (2024-03-20T02:21:44Z)
• Learning to Prompt Knowledge Transfer for Open-World Continual Learning [13.604171414847531]
  Pro-KTは,オープンワールド連続学習のための新しい知識伝達モデルである。 Pro-KTは、(1)タスクジェネリックな知識とタスク固有の知識の両方をエンコードし、転送するプロンプトバンク、(2)タスクアウェアなオープンセット境界により、新しいタスクの未知を識別する。
  論文  参考訳（メタデータ） (2023-12-22T11:53:31Z)
• Parameter-Level Soft-Masking for Continual Learning [12.290968171255349]
  従来のタスクに対する各パラメータの重要性に基づいたトレーニングにおいて,ソフトマスクパラメータを更新する手法(SPG)が提案されている。 私たちの知る限り、これは連続学習のためのパラメータレベルでモデルをソフトマスクする最初の作品です。
  論文  参考訳（メタデータ） (2023-06-26T15:35:27Z)
• Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks [22.28374603976649]
  本稿では、アスペクト感情分類(ASC)タスクの連続的な学習について研究する。 一連のASCタスクを漸進的に学習するCLシステムは、以下の2つの問題に対処する必要がある。 これらの問題に対処するために、B-CLと呼ばれる新しいカプセルネットワークモデルが提案されている。
  論文  参考訳（メタデータ） (2021-12-06T02:46:06Z)
• Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning [22.83874590642864]
  連続学習は、破滅的忘れ(CF)の克服と知識伝達(KT)の2つの目的を達成するために、一連のタスクを学習する 既存の技術のほとんどはCFを克服することだけに重点を置いており、KTを促進するメカニズムがないため、KTではうまく機能しない。 本稿ではこれらの問題を解決するために,CTRと呼ばれる新しいモデルを提案する。
  論文  参考訳（メタデータ） (2021-12-05T23:13:13Z)
• Knowledge-Aware Meta-learning for Low-Resource Text Classification [87.89624590579903]
  本稿では,低リソーステキスト分類問題について検討し,メタトレーニングとメタテストのギャップを埋める。 抽出した文固有知識グラフから学習した各文に対する追加表現を提案する。
  論文  参考訳（メタデータ） (2021-09-10T07:20:43Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Knowledge Transfer via Dense Cross-Layer Mutual-Distillation [24.24969126783315]
  教師と学生のネットワークをゼロから協調的に訓練するDense Cross-layer Mutual-distillation (DCM)を提案する。 KT性能を高めるために,付加型分類器を用いた層間双方向KD操作を導入する。 提案手法は様々なKTタスクでテストし,関連する手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-08-18T09:25:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。