論文の概要: Condensed Prototype Replay for Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2305.16143v1
- Date: Thu, 25 May 2023 15:16:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-26 14:32:15.950620
- Title: Condensed Prototype Replay for Class Incremental Learning
- Title（参考訳）: 授業インクリメンタル学習のための凝縮プロトタイプリプレイ
- Authors: Jiangtao Kong, Zhenyu Zong, Tianyi Zhou, Huajie Shao
- Abstract要約: インクリメンタルラーニング(IL)は、新しいタスクを学ぶ際に古いタスクを破滅的に忘れることに悩まされる。
近年の研究では、セチロイド類のみをプロトタイプとして保存し、ガウスノイズを付加して再生のための合成データを生成する。
本稿では,メモリコストのかかる模範的手法を初めて上回りうる,一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組一組
- 参考スコア（独自算出の注目度）: 19.744088520278243
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Incremental learning (IL) suffers from catastrophic forgetting of old tasks
when learning new tasks. This can be addressed by replaying previous tasks'
data stored in a memory, which however is usually prone to size limits and
privacy leakage. Recent studies store only class centroids as prototypes and
augment them with Gaussian noises to create synthetic data for replay. However,
they cannot effectively avoid class interference near their margins that leads
to forgetting. Moreover, the injected noises distort the rich structure between
real data and prototypes, hence even detrimental to IL. In this paper, we
propose YONO that You Only Need to replay One condensed prototype per class,
which for the first time can even outperform memory-costly exemplar-replay
methods. To this end, we develop a novel prototype learning method that (1)
searches for more representative prototypes in high-density regions by an
attentional mean-shift algorithm and (2) moves samples in each class to their
prototype to form a compact cluster distant from other classes. Thereby, the
class margins are maximized, which effectively reduces interference causing
future forgetting. In addition, we extend YONO to YONO+, which creates
synthetic replay data by random sampling in the neighborhood of each prototype
in the representation space. We show that the synthetic data can further
improve YONO. Extensive experiments on IL benchmarks demonstrate the advantages
of YONO/YONO+ over existing IL methods in terms of both accuracy and
forgetting.
- Abstract（参考訳）: インクリメンタル学習(il)は、新しいタスクを学ぶときに古いタスクを壊滅的に忘れてしまうことに苦しむ。
これは、メモリに格納された以前のタスクのデータをリプレイすることで対処できるが、通常サイズ制限とプライバシリークが生じる。
近年の研究では、セチロイド類のみをプロトタイプとして保存し、ガウスノイズを付加して再生のための合成データを生成する。
しかし、マージン近くのクラス干渉を効果的に避けることはできず、忘れてしまう。
さらに、インジェクトされたノイズは、実際のデータとプロトタイプの間のリッチな構造を歪め、その結果、ILに有害である。
本稿では,メモリコストのかかる模範的手法を初めて上回りうる,クラス毎に1つの凝縮型プロトタイプをリプレイすることのみを要したYONOを提案する。
そこで本研究では,(1)注目平均シフトアルゴリズムにより高密度領域のより代表的なプロトタイプを探索し,(2)各クラス内のサンプルをプロトタイプに移動させて,他のクラスから離れたコンパクトクラスタを形成する,新しいプロトタイプ学習手法を提案する。
これにより、クラスマージンが最大化され、将来の忘れることを引き起こす干渉を効果的に低減する。
さらに,各プロトタイプ近傍の表現空間において,ランダムサンプリングにより合成再生データを生成するYONOをYONO+に拡張する。
また, 合成データにより, YONOをさらに改善できることを示す。
ILベンチマークに関する大規模な実験は、既存のILメソッドよりも、正確さと忘れやすさの両方において、YONO/YONO+の利点を実証している。
関連論文リスト
- Hybrid Memory Replay: Blending Real and Distilled Data for Class Incremental Learning [19.671792951465]
インクリメンタルラーニング(IL)は、従来のタスクから学んだ知識を維持しつつ、現在のタスクから新しい知識を取得することを目的としている。
リプレイベースのILメソッドは、以前のタスクをバッファに格納し、新しいタスクを学ぶ際にそれらを再生する。
データ蒸留(DD)は、大規模な実データセットを、より情報に適合した合成例のセットに凝縮することで、模範バッファのサイズを減らすことができる。
本稿では,歴史に残るチェックポイントのスライディングウィンドウから合成データを蒸留するDDの革新的な改良を提案する。
論文 参考訳（メタデータ） (2024-10-20T12:13:32Z) - PASS++: A Dual Bias Reduction Framework for Non-Exemplar Class-Incremental Learning [49.240408681098906]
クラスインクリメンタルラーニング(CIL)は,旧クラスの識別性を維持しつつ,新たなクラスを段階的に認識することを目的としている。
既存のCILメソッドの多くは、例えば、古いデータの一部を格納して再トレーニングする例がある。
本稿では、入力空間における自己教師付き変換(SST)と深い特徴空間におけるプロトタイプ拡張(protoAug)を利用する、単純で斬新な二重バイアス低減フレームワークを提案する。
論文 参考訳（メタデータ） (2024-07-19T05:03:16Z) - Decoupled Prototype Learning for Reliable Test-Time Adaptation [50.779896759106784]
テスト時間適応(TTA)は、推論中にトレーニング済みのソースモデルをターゲットドメインに継続的に適応させるタスクである。
1つの一般的なアプローチは、推定擬似ラベルによるクロスエントロピー損失を伴う微調整モデルである。
本研究は, 各試料の分類誤差を最小化することで, クロスエントロピー損失の脆弱性がラベルノイズを引き起こすことを明らかにした。
本稿では,プロトタイプ中心の損失計算を特徴とする新しいDPL法を提案する。
論文 参考訳（メタデータ） (2024-01-15T03:33:39Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning [14.462797749666992]
本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
論文 参考訳（メタデータ） (2023-03-26T16:35:45Z) - Remind of the Past: Incremental Learning with Analogical Prompts [30.333352182303038]
即時チューニングにより,新しいデータを古いクラスに再マップするアナロジー生成機構を設計する。
これは、新しいクラスのサンプルのみを使用して、古いモデルのターゲットの古いクラスのフィーチャ分布を模倣する。
学習プロンプトは、歴史的プロトタイプの微調整による表現シフトを推定し、対処するためにさらに使用される。
論文 参考訳（メタデータ） (2023-03-24T10:18:28Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Intra-class Adaptive Augmentation with Neighbor Correction for Deep
Metric Learning [99.14132861655223]
深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。
クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。
本手法は,検索性能の最先端手法を3%～6%向上させる。
論文 参考訳（メタデータ） (2022-11-29T14:52:38Z) - Prototype Memory for Large-scale Face Representation Learning [0.5524804393257919]
softmaxベースのアプローチは、数百万人のデータセットには適していない。
プロトタイプメモリと呼ばれる新しい顔表現学習モデルを提案する。
人気の顔認識ベンチマークに関する広範な実験により,提案モデルの有効性を実証した。
論文 参考訳（メタデータ） (2021-05-05T15:08:34Z) - One Line To Rule Them All: Generating LO-Shot Soft-Label Prototypes [0.0]
プロトタイプ生成メソッドは、トレーニングデータセットを正確に表現する小さな合成観測セットを作成することを目指している。
ソフトラベルをプロトタイプに割り当てることで、小さなプロトタイプセットが元のトレーニングデータセットを正確に表現できるようになります。
データ内のクラス数よりもプロトタイプが少ない場合でも、表現精度を維持したソフトラベルラインを生成するための新しいモジュラー方式を提案します。
論文 参考訳（メタデータ） (2021-02-15T20:21:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。