論文の概要: InfoCL: Alleviating Catastrophic Forgetting in Continual Text
Classification from An Information Theoretic Perspective
- arxiv url: http://arxiv.org/abs/2310.06362v1
- Date: Tue, 10 Oct 2023 07:00:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-11 18:41:08.280866
- Title: InfoCL: Alleviating Catastrophic Forgetting in Continual Text
Classification from An Information Theoretic Perspective
- Title（参考訳）: InfoCL:情報理論の観点からの連続テキスト分類における破滅的予測の軽減
- Authors: Yifan Song, Peiyi Wang, Weimin Xiong, Dawei Zhu, Tianyu Liu, Zhifang
Sui, Sujian Li
- Abstract要約: 我々は,クラスインクリメンタルな設定の下での連続的なテキスト分類に焦点をあてる。
近年の研究では、類似クラスの性能低下を忘れる重要な要因として挙げている。
本稿では,リプレイに基づく連続テキスト分類手法InfoCLを提案する。
- 参考スコア（独自算出の注目度）: 44.961805748830066
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Continual learning (CL) aims to constantly learn new knowledge over time
while avoiding catastrophic forgetting on old tasks. We focus on continual text
classification under the class-incremental setting. Recent CL studies have
identified the severe performance decrease on analogous classes as a key factor
for catastrophic forgetting. In this paper, through an in-depth exploration of
the representation learning process in CL, we discover that the compression
effect of the information bottleneck leads to confusion on analogous classes.
To enable the model learn more sufficient representations, we propose a novel
replay-based continual text classification method, InfoCL. Our approach
utilizes fast-slow and current-past contrastive learning to perform mutual
information maximization and better recover the previously learned
representations. In addition, InfoCL incorporates an adversarial memory
augmentation strategy to alleviate the overfitting problem of replay.
Experimental results demonstrate that InfoCL effectively mitigates forgetting
and achieves state-of-the-art performance on three text classification tasks.
The code is publicly available at https://github.com/Yifan-Song793/InfoCL.
- Abstract（参考訳）: 継続学習(CL)は、古いタスクを忘れないようにしながら、時間とともに新しい知識を常に学習することを目的としている。
クラスインクリメンタル設定下での連続的なテキスト分類に注目した。
近年のCL研究では、破滅的忘れ込みの重要な要因として、類似クラスの性能低下が指摘されている。
本稿では,CLにおける表現学習プロセスの詳細な探索を通じて,情報ボトルネックの圧縮効果が類似クラスに混乱をもたらすことを明らかにする。
モデルが十分な表現を学習できるようにするために,新しいリプレイに基づく連続テキスト分類法infoclを提案する。
提案手法は,高速・現行のコントラスト学習を用いて相互情報最大化を行い,事前学習した表現をより良く復元する。
さらにInfoCLは、リプレイの過度な問題を軽減するために、逆メモリ拡張戦略を取り入れている。
実験の結果,InfoCLは3つのテキスト分類タスクにおいて,忘れを効果的に軽減し,最先端のパフォーマンスを達成することが示された。
コードはhttps://github.com/Yifan-Song793/InfoCLで公開されている。
関連論文リスト
- TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.108911377558242]
TS-ACLは、プライバシー保護とクラスインクリメンタルパターン認識のための新しいフレームワークである。
モデルの各更新は、クローズドフォームのソリューションで、勾配のない分析学習プロセスに変換される。
同時に、非鍛造、プライバシー保護、軽量消費を実現し、様々なアプリケーションに広く適合する。
論文 参考訳（メタデータ） (2024-10-21T12:34:02Z) - ECLIPSE: Efficient Continual Learning in Panoptic Segmentation with Visual Prompt Tuning [54.68180752416519]
パノプティカルセグメンテーション(英: Panoptic segmentation)は、コンピュータビジョンの最先端タスクである。
ECLIPSE と呼ばれる Visual Prompt Tuning をベースとした,新規で効率的なパノプティカルセグメンテーション手法を提案する。
我々のアプローチは、基本モデルのパラメータを凍結し、小さなプロンプト埋め込みだけを微調整することであり、破滅的な忘れ物と塑性の両方に対処する。
論文 参考訳（メタデータ） (2024-03-29T11:31:12Z) - AttriCLIP: A Non-Incremental Learner for Incremental Knowledge Learning [53.32576252950481]
連続学習は、モデルが逐次到着したデータから段階的に知識を学習できるようにすることを目的としている。
本稿では,新しいクラスやタスクの知識を段階的に抽出する,AttriCLIPという非インクリメンタル学習手法を提案する。
論文 参考訳（メタデータ） (2023-05-19T07:39:17Z) - RepCL: Exploring Effective Representation for Continual Text
Classification [34.33543812253366]
我々は,クラスインクリメンタルな設定の下での連続的なテキスト分類に焦点をあてる。
最近のCL研究では、あるタスクで学んだ表現は他のタスクには効果がない可能性がある。
本稿では,リプレイに基づく連続テキスト分類手法RepCLを提案する。
論文 参考訳（メタデータ） (2023-05-12T07:32:00Z) - Adversarial Training with Complementary Labels: On the Benefit of
Gradually Informative Attacks [119.38992029332883]
不完全な監督を伴う敵の訓練は重要であるが、注意は限られている。
我々は、徐々に情報的攻撃を用いた新しい学習戦略を提案する。
提案手法の有効性を,ベンチマークデータセットを用いて実証する実験を行った。
論文 参考訳（メタデータ） (2022-11-01T04:26:45Z) - Beyond Supervised Continual Learning: a Review [69.9674326582747]
連続学習(Continuous Learning, CL)は、定常データ分布の通常の仮定を緩和または省略する機械学習のフレーバーである。
データ分布の変化は、いわゆる破滅的な忘れ(CF)効果、すなわち、過去の知識の突然の喪失を引き起こす可能性がある。
本稿では、CLを他の環境で研究する文献をレビューする。例えば、監督を減らした学習、完全に教師なしの学習、強化学習などである。
論文 参考訳（メタデータ） (2022-08-30T14:44:41Z) - Don't Stop Learning: Towards Continual Learning for the CLIP Model [21.212839450030838]
Contrastive Language-Image Pre-Training(CLIP)モデルは、最近提案された大規模プレトレインモデルである。
本研究は,CLIPモデルの連続学習問題に関する体系的研究を行う。
筆者らは,CLIPモデルの忘れ問題を軽減するために,VR-LwF (Replayed Vocabulary) を用いた学習学習という新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-07-19T13:03:14Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Prototypes-Guided Memory Replay for Continual Learning [13.459792148030717]
継続学習(英: Continual Learning, CL)とは、学習性能を高めるために、トレーニングサンプルの小さな記述と以前に学んだ知識のみを使用する機械学習パラダイムである。
CLの最大の難しさは、データ分布の変化によって引き起こされた、以前に学習されたタスクの破滅的な忘れである。
オンラインメタ学習モデルに組み込んだメモリ効率の高いCL手法を提案する。
論文 参考訳（メタデータ） (2021-08-28T13:00:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。