論文の概要: Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion
- arxiv url: http://arxiv.org/abs/2305.12270v1
- Date: Sat, 20 May 2023 19:22:40 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-23 23:19:41.119781
- Title: Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion
- Title（参考訳）: 適応的分類基準を用いたタスクインクリメンタル学習におけるカタストロフィック・フォーミングの軽減
- Authors: Yun Luo, Xiaotian Lin, Zhen Yang, Fandong Meng, Jie Zhou, Yue Zhang
- Abstract要約: 本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
- 参考スコア（独自算出の注目度）: 50.03041373044267
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Task-incremental continual learning refers to continually training a model in
a sequence of tasks while overcoming the problem of catastrophic forgetting
(CF). The issue arrives for the reason that the learned representations are
forgotten for learning new tasks, and the decision boundary is destructed.
Previous studies mostly consider how to recover the representations of learned
tasks. It is seldom considered to adapt the decision boundary for new
representations and in this paper we propose a Supervised Contrastive learning
framework with adaptive classification criterion for Continual Learning (SCCL),
In our method, a contrastive loss is used to directly learn representations for
different tasks and a limited number of data samples are saved as the
classification criterion. During inference, the saved data samples are fed into
the current model to obtain updated representations, and a k Nearest Neighbour
module is used for classification. In this way, the extensible model can solve
the learned tasks with adaptive criteria of saved samples. To mitigate CF, we
further use an instance-wise relation distillation regularization term and a
memory replay module to maintain the information of previous tasks. Experiments
show that SCCL achieves state-of-the-art performance and has a stronger ability
to overcome CF compared with the classification baselines.
- Abstract（参考訳）: タスク増分連続学習(Task-incremental continual learning)とは、壊滅的忘れ(CF)の問題を克服しつつ、一連のタスクでモデルを継続的に訓練することである。
問題は、学習した表現が新しいタスクを学習するために忘れられ、決定境界が破壊されるためである。
従来の研究では、主に学習したタスクの表現を回復する方法を検討してきた。
本稿では,新しい表現に決定境界を適用することがほとんどなく,連続学習のための適応型分類基準を持つ教師付きコントラスト学習フレームワークを提案し,その手法では,異なるタスクの表現を直接学習するためにコントラスト的損失を用い,限られた数のデータサンプルを分類基準として保存する。
推論中、保存されたデータサンプルを現在のモデルに入力して、更新された表現を取得し、分類に k Nearest Neighbour モジュールを使用する。
このようにして、拡張可能なモデルは、保存されたサンプルの適応基準で学習タスクを解決できる。
CFを緩和するために、インスタンスワイズ蒸留正則化項とメモリ再生モジュールを使用して、以前のタスクの情報を維持する。
実験により、SCCLは最先端の性能を達成し、分類基準に比べてCFを克服する能力が強いことが示された。
関連論文リスト
- TS-ACL: A Time Series Analytic Continual Learning Framework for Privacy-Preserving and Class-Incremental Pattern Recognition [14.6394894445113]
本稿では,TS-ACLと呼ばれる時系列解析連続学習フレームワークを提案する。
解析学習にインスパイアされたTS-ACLは、ニューラルネットワークの更新を勾配のない線形回帰問題に変換する。
我々のフレームワークはリアルタイムアプリケーションや大規模データ処理に非常に適しています。
論文 参考訳（メタデータ） (2024-10-21T12:34:02Z) - Memory-guided Network with Uncertainty-based Feature Augmentation for Few-shot Semantic Segmentation [12.653336728447654]
学習可能なメモリベクトルの集合からなるクラス共有メモリ(CSM)モジュールを提案する。
これらのメモリベクトルは、トレーニング中にベースクラスから要素オブジェクトパターンを学習し、トレーニングと推論の両方でクエリ機能を再エンコードする。
我々は、CSMとUFAを代表的FSS作品に統合し、広く使われているPASCAL-5$i$とCOCO-20$i$データセットの実験結果を得た。
論文 参考訳（メタデータ） (2024-06-01T19:53:25Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳（メタデータ） (2023-10-16T13:59:56Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Mitigating Forgetting in Online Continual Learning via Contrasting
Semantically Distinct Augmentations [22.289830907729705]
オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。
主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
論文 参考訳（メタデータ） (2022-11-10T05:29:43Z) - vCLIMB: A Novel Video Class Incremental Learning Benchmark [53.90485760679411]
本稿では,ビデオ連続学習ベンチマークvCLIMBを紹介する。
vCLIMBは、ビデオ連続学習における深層モデルの破滅的な忘れを解析するための標準化されたテストベッドである。
本稿では,メモリベース連続学習法に適用可能な時間的整合性正規化を提案する。
論文 参考訳（メタデータ） (2022-01-23T22:14:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。