論文の概要: Continual Contrastive Self-supervised Learning for Image Classification
- arxiv url: http://arxiv.org/abs/2107.01776v1
- Date: Mon, 5 Jul 2021 03:53:42 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-06 22:53:18.046574
- Title: Continual Contrastive Self-supervised Learning for Image Classification
- Title（参考訳）: 画像分類のための連続コントラスト型自己教師型学習
- Authors: Zhiwei Lin, Yongtao Wang and Hongxiang Lin
- Abstract要約: 自己超越学習法は,大規模にラベル付けされたデータを持たない視覚表現に極めて有意な可能性を示す。
自己教師付き学習の視覚的表現を改善するには、より大きく、より多様なデータが必要である。
本稿では,リハーサル手法を提案することによって,連続的なコントラスト型自己教師型学習を実現するための最初の試みを行う。
- 参考スコア（独自算出の注目度）: 10.070132585425938
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For artificial learning systems, continual learning over time from a stream
of data is essential. The burgeoning studies on supervised continual learning
have achieved great progress, while the study of catastrophic forgetting in
unsupervised learning is still blank. Among unsupervised learning methods,
self-supervise learning method shows tremendous potential on visual
representation without any labeled data at scale. To improve the visual
representation of self-supervised learning, larger and more varied data is
needed. In the real world, unlabeled data is generated at all times. This
circumstance provides a huge advantage for the learning of the self-supervised
method. However, in the current paradigm, packing previous data and current
data together and training it again is a waste of time and resources. Thus, a
continual self-supervised learning method is badly needed. In this paper, we
make the first attempt to implement the continual contrastive self-supervised
learning by proposing a rehearsal method, which keeps a few exemplars from the
previous data. Instead of directly combining saved exemplars with the current
data set for training, we leverage self-supervised knowledge distillation to
transfer contrastive information among previous data to the current network by
mimicking similarity score distribution inferred by the old network over a set
of saved exemplars. Moreover, we build an extra sample queue to assist the
network to distinguish between previous and current data and prevent mutual
interference while learning their own feature representation. Experimental
results show that our method performs well on CIFAR100 and ImageNet-Sub.
Compared with self-supervised baselines, which learning tasks one by one
without taking any technique, we improve the image classification top-1
accuracy by 1.60% on CIFAR100 and 2.86% on ImageNet-Sub under 10 incremental
steps setting.
- Abstract（参考訳）: 人工知能システムでは,データストリームからの時間経過による継続的学習が不可欠である。
教師なし連続学習の研究は大きな進歩を遂げ、教師なし学習における破滅的な忘れ込みの研究はいまだに空白である。
教師なし学習手法の中で、自己監督学習法は、大規模にラベル付けされたデータを持たない視覚表現に大きな可能性を示す。
自己教師あり学習の視覚的表現を改善するためには,より大きく,より多様なデータが必要である。
現実世界では、ラベルのないデータが常に生成される。
この状況は、自己教師付き手法の学習に大きな利点をもたらす。
しかし、現在のパラダイムでは、以前のデータと現在のデータをまとめて、再度トレーニングすることは時間とリソースの無駄です。
したがって、継続的な自己教師付き学習方法が必要となる。
本稿では,過去のデータからいくつかの例を取り出すリハーサル手法を提案することで,コントラスト的自己教師付き学習を実現するための最初の試みを行う。
学習のための現在のデータセットと保存されたエクソンプラを直接組み合わせるのではなく、従来のネットワークで推定される類似度スコア分布を模倣して、過去のデータ間のコントラスト情報を現在のネットワークに転送するために自己教師付き知識蒸留を利用する。
さらに,過去のデータと現在のデータを区別し,自己の特徴表現を学習しながら相互干渉を防止するために,追加のサンプルキューを構築する。
実験の結果,CIFAR100とImageNet-Subでは良好な性能を示した。
自己教師付きベースラインと比較して,cifar100では1.60%,インクリメンタルなステップ設定では2.86%の精度向上を実現している。
関連論文リスト
- EfficientTrain++: Generalized Curriculum Learning for Efficient Visual Backbone Training [79.96741042766524]
訓練カリキュラムをソフトセレクション機能として再構築する。
自然画像の内容の露光は,データ拡張の強度によって容易に達成できることを示す。
結果のメソッドであるEfficientTrain++は単純で汎用的だが驚くほど効果的である。
論文 参考訳（メタデータ） (2024-05-14T17:00:43Z) - From Pretext to Purpose: Batch-Adaptive Self-Supervised Learning [32.18543787821028]
本稿では,自己教師付きコントラスト学習におけるバッチ融合の適応的手法を提案する。
公平な比較で最先端のパフォーマンスを達成する。
提案手法は,データ駆動型自己教師型学習研究の進展に寄与する可能性が示唆された。
論文 参考訳（メタデータ） (2023-11-16T15:47:49Z) - A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。
我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
論文 参考訳（メタデータ） (2023-09-21T10:14:53Z) - Harnessing the Power of Text-image Contrastive Models for Automatic
Detection of Online Misinformation [50.46219766161111]
誤情報識別の領域における構成的学習を探求する自己学習モデルを構築した。
本モデルでは、トレーニングデータが不十分な場合、非マッチング画像-テキストペア検出の優れた性能を示す。
論文 参考訳（メタデータ） (2023-04-19T02:53:59Z) - PRSNet: A Masked Self-Supervised Learning Pedestrian Re-Identification
Method [2.0411082897313984]
本論文は, 強靭性を有する事前学習モデルを得るために, マスク再構築の前タスクを設計する。
センタロイドに基づいて三重項損失を改善することにより、ネットワークのトレーニング最適化を行う。
この手法は、既存の自己教師型学習歩行者再識別法よりも、Marker1501およびCUHK03データ上で約5%高いmAPを達成する。
論文 参考訳（メタデータ） (2023-03-11T07:20:32Z) - EfficientTrain: Exploring Generalized Curriculum Learning for Training
Visual Backbones [80.662250618795]
本稿では視覚バックボーン(例えば視覚変換器)の効率的なトレーニングのための新しいカリキュラム学習手法を提案する。
オフザシェルフ方式として、様々な人気モデルのウォールタイムトレーニングコストを、精度を犠牲にすることなく、ImageNet-1K/22Kで1.5倍に削減する。
論文 参考訳（メタデータ） (2022-11-17T17:38:55Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳（メタデータ） (2021-08-20T06:17:20Z) - Investigating a Baseline Of Self Supervised Learning Towards Reducing
Labeling Costs For Image Classification [0.0]
この研究は、Kaggle.comの cat-vs-dogs データセット Mnist と Fashion-Mnist を実装し、自己教師型学習タスクを調査している。
その結果、自己教師型学習におけるプレテキスト処理は、下流分類タスクの約15%の精度を向上させることがわかった。
論文 参考訳（メタデータ） (2021-08-17T06:43:05Z) - Seasonal Contrast: Unsupervised Pre-Training from Uncurated Remote
Sensing Data [64.40187171234838]
季節的コントラスト(SeCo)は、リモートセンシング表現のドメイン内事前トレーニングにラベルのないデータを活用するための効果的なパイプラインである。
SeCoは、転送学習を容易にし、再リモートセンシングアプリケーションの急速な進歩を可能にするために公開されます。
論文 参考訳（メタデータ） (2021-03-30T18:26:39Z) - Self-Supervised Training Enhances Online Continual Learning [37.91734641808391]
連続学習では、システムは壊滅的な忘れずに、非定常データストリームから段階的に学習する必要があります。
自己教師付き事前トレーニングは、教師付き学習よりも一般化する機能をもたらす可能性がある。
我々の最善のシステムは、オンライン連続学習の最先端技術よりも、クラスインクリメンタルイメージネットにおいて、トップ1の精度を14.95%向上させる。
論文 参考訳（メタデータ） (2021-03-25T17:45:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。