論文の概要: Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning
- arxiv url: http://arxiv.org/abs/2303.14771v1
- Date: Sun, 26 Mar 2023 16:35:45 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-28 17:42:58.582411
- Title: Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning
- Title（参考訳）: プロトタイプ-サンプル関係蒸留:リプレイフリー連続学習に向けて
- Authors: Nader Asadi, MohammadReza Davar, Sudhir Mudur, Rahaf Aljundi and
Eugene Belilovsky
- Abstract要約: 本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
また,本手法は,格納されたデータポイントを使わずに,クラスインクリメンタル設定において高い性能を提供することを示す。
- 参考スコア（独自算出の注目度）: 14.182808118191529
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Continual learning (CL) balancing effective adaptation while combating
catastrophic forgetting is a central challenge. Many of the recent
best-performing methods utilize various forms of prior task data, e.g. a replay
buffer, to tackle the catastrophic forgetting problem. Having access to
previous task data can be restrictive in many real-world scenarios, for example
when task data is sensitive or proprietary. To overcome the necessity of using
previous tasks data, in this work, we start with strong representation learning
methods that have been shown to be less prone to forgetting. We propose a
holistic approach to jointly learn the representation and class prototypes
while maintaining the relevance of old class prototypes and their embedded
similarities. Specifically, samples are mapped to an embedding space where the
representations are learned using a supervised contrastive loss. Class
prototypes are evolved continually in the same latent space, enabling learning
and prediction at any point. To continually adapt the prototypes without
keeping any prior task data, we propose a novel distillation loss that
constrains class prototypes to maintain relative similarities as compared to
new task data. This method yields state-of-the-art performance in the
task-incremental setting where we are able to outperform other methods that
both use no data as well as approaches relying on large amounts of data. Our
method is also shown to provide strong performance in the class-incremental
setting without using any stored data points.
- Abstract（参考訳）: 連続学習(CL)では、破滅的な忘れ込みと闘いながら効果的な適応のバランスをとることが中心的な課題である。
最近のベストパフォーマンス手法の多くは、例えばリプレイバッファのような様々なタスクデータを用いて、破滅的な忘れの問題に取り組む。
以前のタスクデータへのアクセスは、例えばタスクデータが機密性やプロプライエタリな場合など、多くの現実世界のシナリオで制限される。
従来のタスクデータを使う必要性を克服するため,本研究では,忘れやすいことを示す強力な表現学習手法から始める。
従来のクラスプロトタイプの関連性と組込み類似性を維持しつつ,表現とクラスプロトタイプを共同学習するための包括的アプローチを提案する。
具体的には、サンプルを埋め込み空間にマッピングし、教師付きコントラスト損失を用いて表現を学習する。
クラスプロトタイプは同じ潜在空間で継続的に進化し、任意の時点で学習と予測を可能にする。
先行課題データを保持しないプロトタイプを継続的に適応させるために,新しい課題データと比較して相対的な類似性を維持するために,クラスプロトタイプを制約する新しい蒸留損失を提案する。
この手法は、大量のデータに依存するアプローチだけでなく、データを使用しない他の方法よりも優れているタスクインクリメンタル設定における最先端のパフォーマンスをもたらす。
また,本手法は,格納されたデータポイントを使わずに,クラスインクリメンタル設定において高い性能を提供することを示す。
関連論文リスト
- Reducing catastrophic forgetting of incremental learning in the absence of rehearsal memory with task-specific token [0.6144680854063939]
ディープラーニングモデルは、新しいデータを継続的に学習する際に破滅的な忘れを見せる。
本稿では,従来のデータを保存することなく,過去の知識を保存できる新しい手法を提案する。
この方法は視覚変換器のアーキテクチャにインスパイアされ、各タスクの圧縮された知識をカプセル化できるユニークなトークンを使用する。
論文 参考訳（メタデータ） (2024-11-06T16:13:50Z) - Resurrecting Old Classes with New Data for Exemplar-Free Continual Learning [13.264972882846966]
継続的な学習方法は破滅的な忘れ込みに苦しむことが知られている。
既存のexemplar-freeメソッドは、通常、最初のタスクがその後のタスクよりもかなり大きい設定で評価される。
本稿では, 従来のモデル埋め込み空間において, 組込みが旧型プロトタイプに近いように, 現在のサンプルを逆向きに摂動させることを提案する。
次に,従来のモデルから新しいモデルへの埋め込み空間のドリフトを摂動画像を用いて推定し,それに応じてプロトタイプを補償する。
論文 参考訳（メタデータ） (2024-05-29T13:31:42Z) - Adaptive Rentention & Correction for Continual Learning [114.5656325514408]
連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。
アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。
ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
論文 参考訳（メタデータ） (2024-05-23T08:43:09Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳（メタデータ） (2023-10-16T13:59:56Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳（メタデータ） (2023-09-15T17:10:51Z) - Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。
提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
論文 参考訳（メタデータ） (2022-11-05T17:19:14Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳（メタデータ） (2022-10-10T08:27:28Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳（メタデータ） (2022-06-01T03:02:07Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳（メタデータ） (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。