論文の概要: Offline-Online Class-incremental Continual Learning via Dual-prototype Self-augment and Refinement

• arxiv url: http://arxiv.org/abs/2303.10891v1
• Date: Mon, 20 Mar 2023 06:16:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-21 16:42:56.618979
• Title: Offline-Online Class-incremental Continual Learning via Dual-prototype Self-augment and Refinement
• Title（参考訳）: デュアルプロトタイプの自己増分・補充によるオフライン・オンライン・クラス増分連続学習
• Authors: Fushuo Huo, Wenchao Xu, Jingcai Guo, Haozhao Wang, and Yunfeng Fan, Song Guo
• Abstract要約: 本稿では,オフライン・オンライン・クラス増分継続学習(O$2$CL)という新しい,実用的だが困難な問題について検討する。 これは、データ例をバッファリングすることなく事前訓練された(オフライン)ベースクラスの識別性を維持し、シングルパス(オンライン)データストリームで新しいクラスを継続的に学習することを目的としている。 本稿では,O$2$CL問題に対するDSR(Dual-prototype Self-augment and Refinement Method)を提案する。
• 参考スコア（独自算出の注目度）: 14.275818767240267
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper investigates a new, practical, but challenging problem named Offline-Online Class-incremental Continual Learning (O$^2$CL), which aims to preserve the discernibility of pre-trained (i.e., offline) base classes without buffering data examples, and efficiently learn novel classes continuously in a single-pass (i.e., online) data stream. The challenges of this task are mainly two-fold: 1) Both base and novel classes suffer from severe catastrophic forgetting as no previous samples are available for replay. 2) As the online data can only be observed once, there is no way to fully re-train the whole model, e.g., re-calibrate the decision boundaries via prototype alignment or feature distillation. In this paper, we propose a novel Dual-prototype Self-augment and Refinement method (DSR) for O$^2$CL problem, which consists of two strategies: 1) Dual class prototypes: Inner and hyper-dimensional prototypes are exploited to utilize the pre-trained information and obtain robust quasi-orthogonal representations rather than example buffers for both privacy preservation and memory reduction. 2) Self-augment and refinement: Instead of updating the whole network, we jointly optimize the extra projection module with the self-augment inner prototypes from base and novel classes, gradually refining the hyper-dimensional prototypes to obtain accurate decision boundaries for learned classes. Extensive experiments demonstrate the effectiveness and superiority of the proposed DSR in O$^2$CL.
• Abstract（参考訳）: 本稿では、データ例をバッファリングすることなく事前学習した(オフライン)ベースクラスの識別性を保ち、シングルパス(オンライン)データストリームで新しいクラスを継続的に学習することを目的とした、オフライン・オンライン・クラスインクリメンタル・ラーニング(O$^2$CL)という新たな課題について検討する。 このタスクの課題は主に2つあります。 1) 基礎クラスと新規クラスはいずれも, 過去のサンプルがリプレイに利用できないため, 致命的な難問に苦しむ。 2)オンラインデータは一度しか観測できないため、例えば、原型アライメントや特徴蒸留による決定境界の再校正など、モデル全体を完全に再訓練する手段はない。 本稿では,2つの戦略からなるo$^2$cl問題に対して,新しい双対プロトタイプ自己導出・精細化法(dsr)を提案する。 1) デュアルクラスプロトタイプ: 内部および超次元プロトタイプを用いて, 事前学習した情報を利用して, プライバシー保護とメモリ削減の両立のためのバッファではなく, 頑健な準直交表現を得る。 2) 自己拡張と改良: ネットワーク全体を更新する代わりに, ベースクラスと新規クラスの自己拡張型内部プロトタイプと共同でプロジェクションモジュールを最適化し, 徐々に高次元プロトタイプを改良し, 学習クラスの正確な決定境界を得る。 O$^2$CL において提案された DSR の有効性と優位性を示す。

関連論文リスト

• I2CANSAY:Inter-Class Analogical Augmentation and Intra-Class Significance Analysis for Non-Exemplar Online Task-Free Continual Learning [42.608860809847236]
  オンラインタスクフリー連続学習(OTFCL)は、継続学習のより困難なバリエーションである。 既存のメソッドは、忘れるのを防ぐために古いサンプルで構成されたメモリバッファに依存している。 我々は,メモリバッファへの依存をなくし,ワンショットサンプルから新しいデータの知識を効率的に学習するI2CANSAYという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-21T08:28:52Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• Automatically Discovering Novel Visual Categories with Self-supervised Prototype Learning [68.63910949916209]
  本稿では,大規模な画像収集において未知のカテゴリを識別することを目的とした,新しいカテゴリ発見(NCD)の課題に取り組む。 本稿では,プロトタイプ表現学習とプロトタイプ自己学習という,2つの主要な段階からなる適応型プロトタイプ学習手法を提案する。 本研究では,4つのベンチマークデータセットについて広範な実験を行い,提案手法の有効性とロバスト性を示す。
  論文  参考訳（メタデータ） (2022-08-01T16:34:33Z)
• Contrastive Prototype Learning with Augmented Embeddings for Few-Shot Learning [58.2091760793799]
  拡張埋め込み(CPLAE)モデルを用いた新しいコントラスト型プロトタイプ学習を提案する。 クラスプロトタイプをアンカーとして、CPLは、同じクラスのクエリサンプルを、異なるクラスのサンプルを、さらに遠くに引き出すことを目的としている。 いくつかのベンチマークによる大規模な実験により,提案したCPLAEが新たな最先端を実現することが示された。
  論文  参考訳（メタデータ） (2021-01-23T13:22:44Z)
• Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
  CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。 従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。 新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
  論文  参考訳（メタデータ） (2020-08-31T04:11:24Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。