論文の概要: Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment
Classification Tasks
- arxiv url: http://arxiv.org/abs/2112.03271v1
- Date: Mon, 6 Dec 2021 02:46:06 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-09 08:15:01.140345
- Title: Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment
Classification Tasks
- Title(参考訳): Aspect Sentiment Classification Tasks の連続学習におけるBERTの適用
- Authors: Zixuan Ke, Hu Xu, Bing Liu
- Abstract要約: 本稿では、アスペクト感情分類(ASC)タスクの連続的な学習について研究する。
一連のASCタスクを漸進的に学習するCLシステムは、以下の2つの問題に対処する必要がある。
これらの問題に対処するために、B-CLと呼ばれる新しいカプセルネットワークモデルが提案されている。
- 参考スコア(独自算出の注目度): 22.28374603976649
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: This paper studies continual learning (CL) of a sequence of aspect sentiment
classification (ASC) tasks. Although some CL techniques have been proposed for
document sentiment classification, we are not aware of any CL work on ASC. A CL
system that incrementally learns a sequence of ASC tasks should address the
following two issues: (1) transfer knowledge learned from previous tasks to the
new task to help it learn a better model, and (2) maintain the performance of
the models for previous tasks so that they are not forgotten. This paper
proposes a novel capsule network based model called B-CL to address these
issues. B-CL markedly improves the ASC performance on both the new task and the
old tasks via forward and backward knowledge transfer. The effectiveness of
B-CL is demonstrated through extensive experiments.
- Abstract(参考訳): 本稿では,アスペクト感情分類(ASC)タスクの連続学習(CL)について検討する。
文書の感情分類にはいくつかのcl手法が提案されているが、我々はascに関するcl作業に気付いていない。
一連のASCタスクを漸進的に学習するCLシステムは,(1) 従来のタスクから学んだ知識を新しいタスクに移行して,より良いモデル学習を支援する,(2) 過去のタスクのモデルの性能を忘れないように維持する,という2つの課題に対処する必要がある。
本稿では,B-CLと呼ばれる新しいカプセルネットワークモデルを提案する。
b-clは新しいタスクと古いタスクの両方において、前方および後方の知識転送によるasc性能を著しく改善する。
B-CLの有効性は広範な実験によって実証された。
関連論文リスト
- Sub-network Discovery and Soft-masking for Continual Learning of Mixed
Tasks [46.96149283885802]
本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。
サブネットワークを発見して各タスクの知識を分離することでCFを克服する。
従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
論文 参考訳(メタデータ) (2023-10-13T23:00:39Z) - Continual Learners are Incremental Model Generalizers [70.34479702177988]
本稿では,継続学習モデル(CL)が事前学習者に与える影響を幅広く研究する。
その結果, 微調整性能が著しく低下することなく, 表現の伝達品質が徐々に向上することがわかった。
本稿では,下流タスクの解法において,リッチなタスクジェネリック表現を保存できる新しい微調整方式GLobal Attention Discretization(GLAD)を提案する。
論文 参考訳(メタデータ) (2023-06-21T05:26:28Z) - POP: Prompt Of Prompts for Continual Learning [59.15888651733645]
継続的な学習(CL)は、破滅的な忘れをせずに新しい概念を学習する人間の能力を模倣することを目的としている。
POP学習を用いた基礎モデルでは,古典的なCL手法よりも優れた性能が得られることを示す。
論文 参考訳(メタデータ) (2023-06-14T02:09:26Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Active Continual Learning: On Balancing Knowledge Retention and
Learnability [43.6658577908349]
一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。
本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。
ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
論文 参考訳(メタデータ) (2023-05-06T04:11:03Z) - Improving Chinese Spelling Check by Character Pronunciation Prediction:
The Effects of Adaptivity and Granularity [76.20568599642799]
中国語のスペルチェック(英語: Chinese spelling check, CSC)は、中国語のテキスト中のスペルエラーを検出し修正する基本的なNLPタスクである。
本稿では,CSCを改善するために中国語発音予測(CPP)の補助的タスクを導入することを検討する。
本稿では,共有エンコーダの2つの並列デコーダ上に構築したSCOPEを提案する。
論文 参考訳(メタデータ) (2022-10-20T03:42:35Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳(メタデータ) (2022-08-30T14:44:41Z) - Continual Learning with Knowledge Transfer for Sentiment Classification [20.5365406439092]
Kanは、フォワードとバックワードの知識伝達によって、新しいタスクと古いタスクの両方の精度を著しく向上させることができる。
カンの有効性は広範な実験によって実証される。
論文 参考訳(メタデータ) (2021-12-18T22:58:21Z) - CLASSIC: Continual and Contrastive Learning of Aspect Sentiment
Classification Tasks [23.515930312505954]
本稿では、ドメインインクリメンタルラーニング(DIL)と呼ばれる特定のCL設定におけるアスペクト感情分類(ASC)タスクの連続的な学習について研究する。
DIL設定は、テスト時にシステムがテストデータが属するタスク/ドメインを知る必要がないため、ASCに特に適している。
重要な新規性は、タスク間の知識伝達と、古いタスクから新しいタスクへの知識蒸留の両方を可能にする、対照的な連続的な学習方法である。
論文 参考訳(メタデータ) (2021-12-05T23:55:53Z) - Defeating Catastrophic Forgetting via Enhanced Orthogonal Weights
Modification [8.091211518374598]
本稿では,新しい学習課題の重み勾配が,新たな学習課題の入力空間と,学習課題の重み空間とによって連続的に決定されることを示す。
本稿では,拡張OWMによる効率的かつ効果的な連続学習手法であるEOWMを提案する。
論文 参考訳(メタデータ) (2021-11-19T07:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。