論文の概要: Non-Exemplar Online Class-incremental Continual Learning via
Dual-prototype Self-augment and Refinement
- arxiv url: http://arxiv.org/abs/2303.10891v2
- Date: Wed, 23 Aug 2023 15:16:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-24 18:18:41.129145
- Title: Non-Exemplar Online Class-incremental Continual Learning via
Dual-prototype Self-augment and Refinement
- Title（参考訳）: 双対型自己増分・補充によるオンライン授業増分継続学習
- Authors: Fushuo Huo, Wenchao Xu, Jingcai Guo, Haozhao Wang, and Yunfeng Fan,
Song Guo
- Abstract要約: オンライン授業増分継続学習(NO-CL)は,新しい,実践的,挑戦的な問題である。
データ例をバッファリングすることなく、ベースクラスの識別性を保ち、シングルパスのデータストリームで新しいクラスを継続的に学習することを目的としている。
本研究では,NO-CL問題に対する新しいDSR法を提案する。
- 参考スコア（独自算出の注目度）: 21.323130310029327
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates a new, practical, but challenging problem named
Non-exemplar Online Class-incremental continual Learning (NO-CL), which aims to
preserve the discernibility of base classes without buffering data examples and
efficiently learn novel classes continuously in a single-pass (i.e., online)
data stream. The challenges of this task are mainly two-fold: (1) Both base and
novel classes suffer from severe catastrophic forgetting as no previous samples
are available for replay. (2) As the online data can only be observed once,
there is no way to fully re-train the whole model, e.g., re-calibrate the
decision boundaries via prototype alignment or feature distillation. In this
paper, we propose a novel Dual-prototype Self-augment and Refinement method
(DSR) for NO-CL problem, which consists of two strategies: 1) Dual class
prototypes: vanilla and high-dimensional prototypes are exploited to utilize
the pre-trained information and obtain robust quasi-orthogonal representations
rather than example buffers for both privacy preservation and memory reduction.
2) Self-augment and refinement: Instead of updating the whole network, we
optimize high-dimensional prototypes alternatively with the extra projection
module based on self-augment vanilla prototypes, through a bi-level
optimization problem. Extensive experiments demonstrate the effectiveness and
superiority of the proposed DSR in NO-CL.
- Abstract（参考訳）: 本稿では、データ例をバッファリングすることなく、ベースクラスの識別性を保ち、シングルパス(オンライン)データストリームで新しいクラスを継続的に学習することを目的とした、新しい、実用的な、しかし難しい問題であるNon-Exemplar Online Class-incremental Continual Learning(NO-CL)について検討する。
1) 基礎クラスと新規クラスの両方が, 過去のサンプルがリプレイに利用できないため, 致命的な放棄に苦しむこと, の2つが課題である。
2) オンラインデータは一度しか観測できないため,プロトタイプアライメントや特徴蒸留による決定境界の再校正など,モデル全体を完全に再訓練する手段はない。
本稿では,NO-CL問題に対するDSR(Dual-prototype Self-augment and Refinement Method)を提案する。
1)2種類のプロトタイプ:バニラと高次元のプロトタイプを用いて事前学習した情報を利用して、プライバシー保護とメモリ削減の両方のためのバッファではなく、頑健な準直交表現を得る。
2) 自己提供と洗練: ネットワーク全体を更新するのではなく, 自己提供型バニラプロトタイプに基づく余分なプロジェクションモジュールを用いて, 二段階最適化問題により高次元プロトタイプを最適化する。
広範な実験により,提案するdsrの有効性と優位性が実証された。
関連論文リスト
- I2CANSAY:Inter-Class Analogical Augmentation and Intra-Class Significance Analysis for Non-Exemplar Online Task-Free Continual Learning [42.608860809847236]
オンラインタスクフリー連続学習(OTFCL)は、継続学習のより困難なバリエーションである。
既存のメソッドは、忘れるのを防ぐために古いサンプルで構成されたメモリバッファに依存している。
我々は,メモリバッファへの依存をなくし,ワンショットサンプルから新しいデータの知識を効率的に学習するI2CANSAYという新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-04-21T08:28:52Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳（メタデータ） (2023-03-20T14:12:55Z) - Automatically Discovering Novel Visual Categories with Self-supervised
Prototype Learning [68.63910949916209]
本稿では,大規模な画像収集において未知のカテゴリを識別することを目的とした,新しいカテゴリ発見(NCD)の課題に取り組む。
本稿では,プロトタイプ表現学習とプロトタイプ自己学習という,2つの主要な段階からなる適応型プロトタイプ学習手法を提案する。
本研究では,4つのベンチマークデータセットについて広範な実験を行い,提案手法の有効性とロバスト性を示す。
論文 参考訳（メタデータ） (2022-08-01T16:34:33Z) - Contrastive Prototype Learning with Augmented Embeddings for Few-Shot
Learning [58.2091760793799]
拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。
クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。
いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
論文 参考訳（メタデータ） (2021-01-23T13:22:44Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z) - Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。
少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。
これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
論文 参考訳（メタデータ） (2020-08-04T10:41:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。