論文の概要: Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks

• arxiv url: http://arxiv.org/abs/2112.03271v1
• Date: Mon, 6 Dec 2021 02:46:06 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-09 08:15:01.140345
• Title: Adapting BERT for Continual Learning of a Sequence of Aspect Sentiment Classification Tasks
• Title（参考訳）: Aspect Sentiment Classification Tasks の連続学習におけるBERTの適用
• Authors: Zixuan Ke, Hu Xu, Bing Liu
• Abstract要約: 本稿では、アスペクト感情分類(ASC)タスクの連続的な学習について研究する。 一連のASCタスクを漸進的に学習するCLシステムは、以下の2つの問題に対処する必要がある。 これらの問題に対処するために、B-CLと呼ばれる新しいカプセルネットワークモデルが提案されている。
• 参考スコア（独自算出の注目度）: 22.28374603976649
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: This paper studies continual learning (CL) of a sequence of aspect sentiment classification (ASC) tasks. Although some CL techniques have been proposed for document sentiment classification, we are not aware of any CL work on ASC. A CL system that incrementally learns a sequence of ASC tasks should address the following two issues: (1) transfer knowledge learned from previous tasks to the new task to help it learn a better model, and (2) maintain the performance of the models for previous tasks so that they are not forgotten. This paper proposes a novel capsule network based model called B-CL to address these issues. B-CL markedly improves the ASC performance on both the new task and the old tasks via forward and backward knowledge transfer. The effectiveness of B-CL is demonstrated through extensive experiments.
• Abstract（参考訳）: 本稿では,アスペクト感情分類(ASC)タスクの連続学習(CL)について検討する。 文書の感情分類にはいくつかのcl手法が提案されているが、我々はascに関するcl作業に気付いていない。 一連のASCタスクを漸進的に学習するCLシステムは,(1) 従来のタスクから学んだ知識を新しいタスクに移行して,より良いモデル学習を支援する,(2) 過去のタスクのモデルの性能を忘れないように維持する,という2つの課題に対処する必要がある。 本稿では,B-CLと呼ばれる新しいカプセルネットワークモデルを提案する。 b-clは新しいタスクと古いタスクの両方において、前方および後方の知識転送によるasc性能を著しく改善する。 B-CLの有効性は広範な実験によって実証された。

関連論文リスト

• LW2G: Learning Whether to Grow for Prompt-based Continual Learning [15.766350352592331]
  最近のPrompt-based Continual Learning (PCL) は、事前学習モデル(PTM)による顕著なパフォーマンスを実現している。 我々は,タスク間の相違に基づいて,成長するかどうか (LW2G) をtextbfLearn Wearn に送信するプラグインモジュールを提案する。 グラディエント・プロジェクションの継続学習にインスパイアされたLW2Gは、Hinder Forward Capability(HFC)と呼ばれるメトリクスを開発し、新しいタスクの学習に課される障害を測定する。
  論文  参考訳（メタデータ） (2024-09-27T15:55:13Z)
• Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
  In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。 ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。 そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-06-20T06:37:47Z)
• Sub-network Discovery and Soft-masking for Continual Learning of Mixed Tasks [46.96149283885802]
  本稿では,CFおよび/または制限KTを克服する新しいCL法を提案する。 サブネットワークを発見して各タスクの知識を分離することでCFを克服する。 従来の知識を保存し、新しいタスクが過去の知識を活用してKTを達成できるようにするため、ソフトマスキング機構も提案されている。
  論文  参考訳（メタデータ） (2023-10-13T23:00:39Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Active Continual Learning: On Balancing Knowledge Retention and Learnability [43.6658577908349]
  一連のタスクで学んだことを忘れずに新しい知識を取得することは、継続学習(CL)の中心的焦点である。 本稿では, 能動連続学習(ACL)の課題の列における未探索問題について考察する。 ドメイン,クラス,タスクインクリメンタルシナリオにおける複数のALアルゴリズムとCLアルゴリズムの有効性と相互作用について検討する。
  論文  参考訳（メタデータ） (2023-05-06T04:11:03Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Improving Chinese Spelling Check by Character Pronunciation Prediction: The Effects of Adaptivity and Granularity [76.20568599642799]
  中国語のスペルチェック(英語: Chinese spelling check, CSC)は、中国語のテキスト中のスペルエラーを検出し修正する基本的なNLPタスクである。 本稿では,CSCを改善するために中国語発音予測(CPP)の補助的タスクを導入することを検討する。 本稿では,共有エンコーダの2つの並列デコーダ上に構築したSCOPEを提案する。
  論文  参考訳（メタデータ） (2022-10-20T03:42:35Z)
• Beyond Supervised Continual Learning: a Review [69.9674326582747]
  連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。 データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。 本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
  論文  参考訳（メタデータ） (2022-08-30T14:44:41Z)
• Continual Learning with Knowledge Transfer for Sentiment Classification [20.5365406439092]
  Kanは、フォワードとバックワードの知識伝達によって、新しいタスクと古いタスクの両方の精度を著しく向上させることができる。 カンの有効性は広範な実験によって実証される。
  論文  参考訳（メタデータ） (2021-12-18T22:58:21Z)
• CLASSIC: Continual and Contrastive Learning of Aspect Sentiment Classification Tasks [23.515930312505954]
  本稿では、ドメインインクリメンタルラーニング(DIL)と呼ばれる特定のCL設定におけるアスペクト感情分類(ASC)タスクの連続的な学習について研究する。 DIL設定は、テスト時にシステムがテストデータが属するタスク/ドメインを知る必要がないため、ASCに特に適している。 重要な新規性は、タスク間の知識伝達と、古いタスクから新しいタスクへの知識蒸留の両方を可能にする、対照的な連続的な学習方法である。
  論文  参考訳（メタデータ） (2021-12-05T23:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。