論文の概要: Memory Efficient Class-Incremental Learning for Image Classification
- arxiv url: http://arxiv.org/abs/2008.01411v2
- Date: Tue, 18 May 2021 13:32:08 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 23:21:09.755595
- Title: Memory Efficient Class-Incremental Learning for Image Classification
- Title（参考訳）: 画像分類のためのメモリ効率の良いクラスインクリメンタル学習
- Authors: Hanbin Zhao, Hui Wang, Yongjian Fu, Fei Wu, Xi Li
- Abstract要約: クラス増分学習(class-incremental learning, CIL)は通常、新たに追加されたクラスが到着すると、共同分類モデルを更新する際に「破滅的な忘れる」問題に悩まされる。
本稿では,従来の実高忠実な模範サンプルよりも,補助的な低忠実な模範サンプルを維持することを提案する。
- 参考スコア（独自算出の注目度）: 23.666101443616995
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: With the memory-resource-limited constraints, class-incremental learning
(CIL) usually suffers from the "catastrophic forgetting" problem when updating
the joint classification model on the arrival of newly added classes. To cope
with the forgetting problem, many CIL methods transfer the knowledge of old
classes by preserving some exemplar samples into the size-constrained memory
buffer. To utilize the memory buffer more efficiently, we propose to keep more
auxiliary low-fidelity exemplar samples rather than the original real
high-fidelity exemplar samples. Such a memory-efficient exemplar preserving
scheme makes the old-class knowledge transfer more effective. However, the
low-fidelity exemplar samples are often distributed in a different domain away
from that of the original exemplar samples, that is, a domain shift. To
alleviate this problem, we propose a duplet learning scheme that seeks to
construct domain-compatible feature extractors and classifiers, which greatly
narrows down the above domain gap. As a result, these low-fidelity auxiliary
exemplar samples have the ability to moderately replace the original exemplar
samples with a lower memory cost. In addition, we present a robust classifier
adaptation scheme, which further refines the biased classifier (learned with
the samples containing distillation label knowledge about old classes) with the
help of the samples of pure true class labels. Experimental results demonstrate
the effectiveness of this work against the state-of-the-art approaches.
- Abstract（参考訳）: メモリリソース制限の制約により、クラスインクリメンタルラーニング(CIL)は通常、新たに追加されたクラスが到着すると、共同分類モデルを更新する際に「破滅的な忘れる」問題に悩まされる。
忘れる問題に対処するため、多くのCILメソッドは、模範的なサンプルをメモリバッファのサイズに制限して保存することで、古いクラスの知識を転送する。
メモリバッファをより効率的に活用するために,本研究では,従来の実高忠実な模範サンプルよりも,補助的な低忠実な模範サンプルを維持することを提案する。
このようなメモリ効率の良い模範保存スキームは、古いクラスの知識伝達をより効果的にする。
しかし、低忠実度例のサンプルは、しばしば元の例のサンプル、すなわちドメインシフトとは別の領域に分散される。
この問題を軽減するため、我々は、上記のドメイン間ギャップを大幅に狭めるドメイン互換特徴抽出器と分類器を構築しようとする二重学習スキームを提案する。
その結果、これらの低忠実度補助サンプルは、元の例サンプルを低メモリコストで適度に置き換えることができる。
さらに, 純粋な真のクラスラベルのサンプルを用いて, バイアス付き分類器(古いクラスに関する蒸留ラベルの知識を含むサンプルを学習)を改良する, 頑健な分類器適応方式を提案する。
実験により,本研究の有効性が実証された。
関連論文リスト
- Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-03T07:19:11Z) - Adaptive Intra-Class Variation Contrastive Learning for Unsupervised Person Re-Identification [10.180143197144803]
AdaInCVと呼ばれる教師なしRe-IDのための適応型クラス内変動コントラスト学習アルゴリズムを提案する。
このアルゴリズムは,クラスタリング後のクラス内変動を考慮し,各クラスのモデルの学習能力を定量的に評価する。
より具体的には、Adaptive Sample Mining (AdaSaM)とAdaptive Outlier Filter (AdaOF)の2つの新しい戦略が提案されている。
論文 参考訳（メタデータ） (2024-04-06T15:48:14Z) - Prompt-Based Exemplar Super-Compression and Regeneration for
Class-Incremental Learning [22.676222987218555]
超圧縮再生法であるESCORTは、その量を大幅に増加させ、模範者の多様性を高める。
生成した例と実画像の領域ギャップを最小限に抑えるために,部分圧縮と拡散に基づくデータ拡張を提案する。
論文 参考訳（メタデータ） (2023-11-30T05:59:31Z) - Shrinking Class Space for Enhanced Certainty in Semi-Supervised Learning [59.44422468242455]
そこで我々はShrinkMatchと呼ばれる新しい手法を提案し、不確実なサンプルを学習する。
それぞれの不確実なサンプルに対して、元の Top-1 クラスを単に含むスランク類空間を適応的に求める。
次に、スランク空間における強と弱に強化された2つのサンプル間の整合正則化を課し、識別的表現を試みます。
論文 参考訳（メタデータ） (2023-08-13T14:05:24Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳（メタデータ） (2022-12-23T18:46:05Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳（メタデータ） (2022-05-26T08:24:01Z) - Saliency Grafting: Innocuous Attribution-Guided Mixup with Calibrated
Label Mixing [104.630875328668]
ミックスアップスキームは、強化されたトレーニングサンプルを作成するために、サンプルのペアを混ぜることを提案する。
両世界のベストを捉えた、斬新だがシンプルなミックスアップ版を提示する。
論文 参考訳（メタデータ） (2021-12-16T11:27:48Z) - Latent-Insensitive Autoencoders for Anomaly Detection and
Class-Incremental Learning [0.0]
我々は、類似ドメインからのラベルなしデータを負の例として用いて、正規のオートエンコーダの潜伏層(ブートネック)を形成するLatent-Insensitive Autoencoder (LIS-AE)を紹介した。
本稿では,クラス毎に異なる潜在層を追加して,クラス増分学習を複数の異常検出タスクとして扱うとともに,クラス増分学習を負の例として,各潜在層を形作る。
論文 参考訳（メタデータ） (2021-10-25T16:53:49Z) - Breadcrumbs: Adversarial Class-Balanced Sampling for Long-tailed
Recognition [95.93760490301395]
クラスごとのサンプル数が非バランスである長尾認識の問題は、考慮されます。
これは例の繰り返しサンプリングによるものであり、特徴空間拡張によって対処できると仮定される。
トレーニング中のエポック間の機能のバックトラッキングに基づく,新たな機能拡張戦略であるemanateを提案する。
新たなサンプリング手順であるbreadcrumbは、余分な計算なしで逆のクラスバランスのサンプリングを実装するために導入された。
論文 参考訳（メタデータ） (2021-05-01T00:21:26Z) - Improving memory banks for unsupervised learning with large mini-batch,
consistency and hard negative mining [61.223064077782645]
バニラメモリバンクをベースとした定式化では,3つの改良が加えられた。
我々は、同一サンプルの異なる拡張によって得られるロジットを、負のサンプルに対する差別を強制することなく、近くまで拡張することで得られるロジットを強制する。
インスタンス識別は、視覚的に類似したサンプルには意味がないため、メモリバンクを改善するための新しい近接アプローチを考案する。
論文 参考訳（メタデータ） (2021-02-08T18:56:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。