論文の概要: Self-Supervised Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2111.11208v1
• Date: Thu, 18 Nov 2021 06:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-23 14:08:02.553059
• Title: Self-Supervised Class Incremental Learning
• Title（参考訳）: 自己指導型インクリメンタルラーニング
• Authors: Zixuan Ni, Siliang Tang, Yueting Zhuang
• Abstract要約: 既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
• 参考スコア（独自算出の注目度）: 51.62542103481908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing Class Incremental Learning (CIL) methods are based on a supervised classification framework sensitive to data labels. When updating them based on the new class data, they suffer from catastrophic forgetting: the model cannot discern old class data clearly from the new. In this paper, we explore the performance of Self-Supervised representation learning in Class Incremental Learning (SSCIL) for the first time, which discards data labels and the model's classifiers. To comprehensively discuss the difference in performance between supervised and self-supervised methods in CIL, we set up three different class incremental schemes: Random Class Scheme, Semantic Class Scheme, and Cluster Scheme, to simulate various class incremental learning scenarios. Besides, we propose Linear Evaluation Protocol (LEP) and Generalization Evaluation Protocol (GEP) to metric the model's representation classification ability and generalization in CIL. Our experiments (on ImageNet-100 and ImageNet) show that SSCIL has better anti-forgetting ability and robustness than supervised strategies in CIL. To understand what alleviates the catastrophic forgetting in SSCIL, we study the major components of SSCIL and conclude that (1) the composition of different data augmentation improves the quality of the model's representation and the \textit{Grayscale} operation reduces the system noise of data augmentation in SSCIL. (2) the projector, like a buffer, reduces unnecessary parameter updates of the model in SSCIL and increases the robustness of the model. Although the performance of SSCIL is significantly higher than supervised methods in CIL, there is still an apparent gap with joint learning. Our exploration gives a baseline of self-supervised class incremental learning on large-scale datasets and contributes some forward strategies for mitigating the catastrophic forgetting in CIL.
• Abstract（参考訳）: 既存のクラスインクリメンタル学習(cil)メソッドは、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいてそれらを更新すると、それらは壊滅的な忘れに苦しむ: モデルは古いクラスデータを新しいものと明確に区別することはできない。 本稿では,データラベルとモデルの分類器を捨てるクラスインクリメンタル学習(sscil)において,自己教師付き表現学習(self-supervised representation learning)を初めて実施する。 cilにおける教師付きメソッドと自己教師付きメソッドのパフォーマンスの違いを包括的に議論するために、様々なクラスインクリメンタル学習シナリオをシミュレートするために、ランダムクラススキーム、セマンティッククラススキーム、クラスタスキームという3つの異なるクラスインクリメンタルスキームを設定した。 さらに,線形評価プロトコル (LEP) と一般化評価プロトコル (GEP) を提案し,CILにおけるモデルの表現分類能力と一般化を計測する。 我々の実験(ImageNet-100とImageNet)では、SSCILはCILの監視戦略よりも優れたアンチフォゲッティング能力と堅牢性を示している。 SSCILにおける破滅的な忘れを和らげる要因を理解するため、SSCILの主要なコンポーネントについて検討し、(1)異なるデータ拡張の合成によってモデルの表現の質が向上し、(2)textit{Grayscale}操作によりSSCILにおけるデータ拡張のシステムノイズが減少する、という結論に達した。 2) プロジェクタはバッファのように、SSCILにおけるモデルの不要なパラメータ更新を減らし、モデルの堅牢性を高める。 SSCIL の性能は CIL の教師あり手法よりも著しく高いが, 共同学習にはまだ明らかなギャップがある。 本稿では,大規模データセットを用いた自己教師型クラスインクリメンタル学習のベースラインを提供し,CILにおける破滅的な忘れを緩和するための前向き戦略に寄与する。

関連論文リスト

• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• PILoRA: Prototype Guided Incremental LoRA for Federated Class-Incremental Learning [41.984652077669104]
  標準データセットによる実験結果から,本手法は最先端の手法よりも優れていたことが示唆された。 本手法は, 異なる設定, データの均一度において, 強靭性と優越性を示す。
  論文  参考訳（メタデータ） (2024-01-04T06:46:19Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Learning from Mistakes: Self-Regularizing Hierarchical Representations in Point Cloud Semantic Segmentation [15.353256018248103]
  LiDARセマンティックセマンティックセマンティクスは、きめ細かいシーン理解を実現するために注目を集めている。 本稿では、標準モデルから派生した分類ミスタケス(LEAK)からLEArnを分離する粗大な設定を提案する。 我々のLEAKアプローチは非常に一般的で、どんなセグメンテーションアーキテクチャにもシームレスに適用できます。
  論文  参考訳（メタデータ） (2023-01-26T14:52:30Z)
• Mitigating Forgetting in Online Continual Learning via Contrasting Semantically Distinct Augmentations [22.289830907729705]
  オンライン連続学習(OCL)は、非定常データストリームからモデル学習を可能とし、新たな知識を継続的に獲得し、学習した知識を維持することを目的としている。 主な課題は、"破滅的な忘れる"問題、すなわち、新しい知識を学習しながら学習した知識を十分に記憶できないことにある。
  論文  参考訳（メタデータ） (2022-11-10T05:29:43Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data [78.69828864672978]
  実世界のフェデレーションシステムにおける分類モデルのトレーニングにおける中心的な課題は、非IIDデータによる学習である。 このアルゴリズムは, 近似されたssian混合モデルからサンプリングした仮想表現を用いて分類器を調整する。 実験の結果,CIFAR-10,CIFAR-100,CINIC-10など,一般的なフェデレーション学習ベンチマークにおけるCCVRの現状が示された。
  論文  参考訳（メタデータ） (2021-06-09T12:02:29Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。