論文の概要: Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning

• arxiv url: http://arxiv.org/abs/2103.13885v1
• Date: Mon, 22 Mar 2021 20:27:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-27 04:37:17.648951
• Title: Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
• Title（参考訳）: supervised contrastive replay: online class-incremental continual learningにおけるクラス平均分類器の再検討
• Authors: Zheda Mai, Ruiwen Li, Hyunwoo Kim, Scott Sanner
• Abstract要約: クラス増分連続学習(CL)は、オンラインの非定常データストリームから新しいクラスを継続的に学習する問題を研究する。 メモリリプレイは有望な結果を示しているが、一般的に使用されるsoftmax分類器によるオンライン学習の正規バイアスは未解決の課題である。 CLコミュニティにおいてNearest-Class-Mean(NCM)分類器は著しく過小評価されているが、Softmax分類器の単純な代替として有効であることを示す。
• 参考スコア（独自算出の注目度）: 17.310385256678654
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Online class-incremental continual learning (CL) studies the problem of learning new classes continually from an online non-stationary data stream, intending to adapt to new data while mitigating catastrophic forgetting. While memory replay has shown promising results, the recency bias in online learning caused by the commonly used Softmax classifier remains an unsolved challenge. Although the Nearest-Class-Mean (NCM) classifier is significantly undervalued in the CL community, we demonstrate that it is a simple yet effective substitute for the Softmax classifier. It addresses the recency bias and avoids structural changes in the fully-connected layer for new classes. Moreover, we observe considerable and consistent performance gains when replacing the Softmax classifier with the NCM classifier for several state-of-the-art replay methods. To leverage the NCM classifier more effectively, data embeddings belonging to the same class should be clustered and well-separated from those with a different class label. To this end, we contribute Supervised Contrastive Replay (SCR), which explicitly encourages samples from the same class to cluster tightly in embedding space while pushing those of different classes further apart during replay-based training. Overall, we observe that our proposed SCR substantially reduces catastrophic forgetting and outperforms state-of-the-art CL methods by a significant margin on a variety of datasets.
• Abstract（参考訳）: online class-incremental continual learning (cl)は、オンラインの非定常データストリームから新しいクラスを継続的に学習する問題を研究し、壊滅的な忘れを緩和しながら新しいデータに適応することを意図している。 メモリリプレイは有望な結果を示しているが、一般的に使用されるsoftmax分類器によるオンライン学習の正規バイアスは未解決の課題である。 CLコミュニティにおいてNearest-Class-Mean(NCM)分類器は著しく過小評価されているが、Softmax分類器の単純な代替手段であることを示す。 遅延バイアスに対処し、新しいクラスの完全接続層の構造変化を避ける。 さらに,いくつかの最先端リプレイ法に対して,ソフトマックス分類器をNCM分類器に置き換える際に,かなりの性能向上が見られた。 NCM分類器をより効果的に活用するには、同一クラスに属するデータ埋め込みをクラスタ化し、異なるクラスラベルを持つものと明確に分離する必要がある。 この目的のために、私たちはSupervised Contrastive Replay (SCR)にコントリビュートし、同じクラスのサンプルを埋め込みスペースに密集させながら、異なるクラスのサンプルをリプレイベースのトレーニング中にさらに分離させます。 全体として,提案したSCRは,様々なデータセットにおいて,破滅的な忘れ込みを著しく低減し,最先端のCL法よりも優れる。

関連論文リスト

• Adaptive Margin Global Classifier for Exemplar-Free Class-Incremental Learning [3.4069627091757178]
  既存の手法は主にバイアス学習を扱うことに焦点を当てている。 本研究では,データ不均衡やサンプリングといった既存手法のバイアス要因を回避するために,分散ベースグローバル(DBGC)を導入する。 さらに重要なのは、古いクラスの妥協された分布は、単純な操作、分散(VE)によってシミュレートされることだ。 この損失は、Adaptive Margin Softmax Cross Entropy (AMarX)と等価であることが証明されている。
  論文  参考訳（メタデータ） (2024-09-20T07:07:23Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Class-incremental Learning using a Sequence of Partial Implicitly Regularized Classifiers [0.0]
  クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。 CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-04T10:02:45Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• ORDisCo: Effective and Efficient Usage of Incremental Unlabeled Data for Semi-supervised Continual Learning [52.831894583501395]
  連続学習は、入力されたデータが完全にラベル付けされていると仮定し、実際のアプリケーションでは適用できないかもしれない。 我々は、条件付き生成逆数ネットワーク(GAN)を用いた分類器を相互に学習するために、識別器整合(ORDisCo)を用いたディープオンライン再生を提案する。 ORDisCo が SSCL の様々な半教師付き学習ベンチマークデータセットで大幅なパフォーマンス向上を達成していることを示します。
  論文  参考訳（メタデータ） (2021-01-02T09:04:14Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。