論文の概要: Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning
- arxiv url: http://arxiv.org/abs/2303.14771v2
- Date: Tue, 6 Jun 2023 14:47:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 20:15:28.224274
- Title: Prototype-Sample Relation Distillation: Towards Replay-Free Continual
Learning
- Title(参考訳): プロトタイプ-サンプル関係蒸留:リプレイフリー連続学習に向けて
- Authors: Nader Asadi, MohammadReza Davari, Sudhir Mudur, Rahaf Aljundi and
Eugene Belilovsky
- Abstract要約: 本稿では,表現とクラスプロトタイプを共同で学習するための総合的なアプローチを提案する。
本稿では,新しいタスクデータと比較して,クラスプロトタイプの相対的類似性を維持することを制約する新しい蒸留損失を提案する。
この手法はタスクインクリメンタル設定における最先端性能を得る。
- 参考スコア(独自算出の注目度): 14.462797749666992
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In Continual learning (CL) balancing effective adaptation while combating
catastrophic forgetting is a central challenge. Many of the recent
best-performing methods utilize various forms of prior task data, e.g. a replay
buffer, to tackle the catastrophic forgetting problem. Having access to
previous task data can be restrictive in many real-world scenarios, for example
when task data is sensitive or proprietary. To overcome the necessity of using
previous tasks' data, in this work, we start with strong representation
learning methods that have been shown to be less prone to forgetting. We
propose a holistic approach to jointly learn the representation and class
prototypes while maintaining the relevance of old class prototypes and their
embedded similarities. Specifically, samples are mapped to an embedding space
where the representations are learned using a supervised contrastive loss.
Class prototypes are evolved continually in the same latent space, enabling
learning and prediction at any point. To continually adapt the prototypes
without keeping any prior task data, we propose a novel distillation loss that
constrains class prototypes to maintain relative similarities as compared to
new task data. This method yields state-of-the-art performance in the
task-incremental setting, outperforming methods relying on large amounts of
data, and provides strong performance in the class-incremental setting without
using any stored data points.
- Abstract(参考訳): 連続学習(CL)では、破滅的な忘れ込みと闘いながら効果的な適応のバランスをとることが中心的な課題である。
最近のベストパフォーマンス手法の多くは、例えばリプレイバッファのような様々なタスクデータを用いて、破滅的な忘れの問題に取り組む。
以前のタスクデータへのアクセスは、例えばタスクデータが機密性やプロプライエタリな場合など、多くの現実世界のシナリオで制限される。
従来のタスクのデータを活用する必要性を克服するため,本研究では,忘れがちな表現学習手法から始める。
従来のクラスプロトタイプの関連性と組込み類似性を維持しつつ,表現とクラスプロトタイプを共同学習するための包括的アプローチを提案する。
具体的には、サンプルを埋め込み空間にマッピングし、教師付きコントラスト損失を用いて表現を学習する。
クラスプロトタイプは同じ潜在空間で継続的に進化し、任意の時点で学習と予測を可能にする。
先行課題データを保持しないプロトタイプを継続的に適応させるために,新しい課題データと比較して相対的な類似性を維持するために,クラスプロトタイプを制約する新しい蒸留損失を提案する。
本手法は,タスクインクリメンタル・セッティングにおける最先端性能,大量のデータに依存する方法,および格納データポイントを使わずにクラスインクリメンタル・セッティングにおいて強力なパフォーマンスを提供する。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Segue: Side-information Guided Generative Unlearnable Examples for
Facial Privacy Protection in Real World [64.4289385463226]
生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。
転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。
JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
論文 参考訳(メタデータ) (2023-10-24T06:22:37Z) - Prior-Free Continual Learning with Unlabeled Data in the Wild [24.14279172551939]
本稿では,新しいタスクの学習モデルを段階的に更新するPFCL法を提案する。
PFCLはタスクのアイデンティティや以前のデータを知ることなく、新しいタスクを学習する。
実験の結果,PFCL法は3つの学習シナリオすべてにおいて,忘れを著しく軽減することがわかった。
論文 参考訳(メタデータ) (2023-10-16T13:59:56Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Prototypical quadruplet for few-shot class incremental learning [24.814045065163135]
改良されたコントラスト損失を用いて,より優れた埋め込み空間を同定し,分類ロバスト性を向上させる手法を提案する。
我々のアプローチは、新しいクラスで訓練された場合でも、埋め込み空間で以前獲得した知識を保っている。
提案手法の有効性は,新しいクラスでモデルを訓練した後,組込み空間がそのままであることを示すとともに,各セッションの精度で既存の最先端アルゴリズムより優れていることを示すことで実証する。
論文 参考訳(メタデータ) (2022-11-05T17:19:14Z) - A Memory Transformer Network for Incremental Learning [64.0410375349852]
本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。
素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。
これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
論文 参考訳(メタデータ) (2022-10-10T08:27:28Z) - CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。
本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
論文 参考訳(メタデータ) (2022-06-01T03:02:07Z) - Tackling Online One-Class Incremental Learning by Removing Negative
Contrasts [12.048166025000976]
他の連続的な学習設定とは違い、学習者は1回だけ新しいサンプルが提示される。
ER-AMLは、入力データと再生データにコントラスト学習に基づく非対称な損失を適用することにより、この設定で強い性能を達成した。
我々は、教師付き学習から教師付き学習環境へ、最近提案されたアプローチを適応させ、コントラストの制約を解き放つ。
論文 参考訳(メタデータ) (2022-03-24T19:17:29Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - Omni-supervised Facial Expression Recognition via Distilled Data [120.11782405714234]
ネットワークトレーニングにおいて,信頼度の高いサンプルを多量のラベルのないデータで活用するためのオムニ教師付き学習を提案する。
我々は,新しいデータセットが学習したFERモデルの能力を大幅に向上させることができることを実験的に検証した。
そこで本研究では,生成したデータセットを複数のクラスワイド画像に圧縮するために,データセット蒸留戦略を適用することを提案する。
論文 参考訳(メタデータ) (2020-05-18T09:36:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。