論文の概要: Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery

• arxiv url: http://arxiv.org/abs/2303.15975v5
• Date: Fri, 23 Aug 2024 14:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-26 10:28:07.296931
• Title: Large-scale Pre-trained Models are Surprisingly Strong in Incremental Novel Class Discovery
• Title（参考訳）: 大規模事前訓練モデルが急激な新進クラス発見において驚くほど強力である
• Authors: Mingxuan Liu, Subhankar Roy, Zhun Zhong, Nicu Sebe, Elisa Ricci,
• Abstract要約: 我々は,クラスiNCDにおける現状問題に挑戦し,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 凍結したPTMバックボーンと学習可能な線形分類器から構成される単純なベースラインを提案する。
• 参考スコア（独自算出の注目度）: 76.63807209414789
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Discovering novel concepts in unlabelled datasets and in a continuous manner is an important desideratum of lifelong learners. In the literature such problems have been partially addressed under very restricted settings, where novel classes are learned by jointly accessing a related labelled set (e.g., NCD) or by leveraging only a supervisedly pre-trained model (e.g., class-iNCD). In this work we challenge the status quo in class-iNCD and propose a learning paradigm where class discovery occurs continuously and truly unsupervisedly, without needing any related labelled set. In detail, we propose to exploit the richer priors from strong self-supervised pre-trained models (PTM). To this end, we propose simple baselines, composed of a frozen PTM backbone and a learnable linear classifier, that are not only simple to implement but also resilient under longer learning scenarios. We conduct extensive empirical evaluation on a multitude of benchmarks and show the effectiveness of our proposed baselines when compared with sophisticated state-of-the-art methods. The code is open source.
• Abstract（参考訳）: 乱れのないデータセットと連続した方法で新しい概念を発見することは、生涯学習者の重要なデシラタムである。 文献では、そのような問題は、関連するラベル付き集合(eg, NCD)や、教師付き事前学習されたモデル(eg, class-iNCD)にのみアクセスすることで、新しいクラスを学習する、非常に制限された設定の下で部分的に解決されている。 本研究は,クラス-iNCDにおける現状問題に挑戦し,関連するラベル付き集合を必要とせず,クラス発見を継続的に,真に教師なしで行う学習パラダイムを提案する。 本稿では,よりリッチな事前学習モデル(PTM)の活用を提案する。 そこで本研究では,凍結したPTMバックボーンと学習可能な線形分類器からなる単純なベースラインを提案する。 我々は,多数のベンチマークで広範な実証評価を行い,高度な最先端手法と比較して,提案するベースラインの有効性を示す。 コードはオープンソースです。

関連論文リスト

• Prior-free Balanced Replay: Uncertainty-guided Reservoir Sampling for Long-Tailed Continual Learning [8.191971407001034]
  長い尾を持つデータストリームから、忘れることなく学習するための、新しいPBRフレームワークを提案する。 我々は、忘れる問題をさらに軽減するために、2つの事前自由なコンポーネントを組み込んだ。 提案手法は3つの標準長尾ベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-08-27T11:38:01Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Class-incremental Novel Class Discovery [76.35226130521758]
  クラス増進型新規クラス発見(class-iNCD)の課題について検討する。 基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。 3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2022-07-18T13:49:27Z)
• Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
  CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。 我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。 提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
  論文  参考訳（メタデータ） (2022-04-07T17:58:07Z)
• Bridging Non Co-occurrence with Unlabeled In-the-wild Data for Incremental Object Detection [56.22467011292147]
  物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。 有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。 そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
  論文  参考訳（メタデータ） (2021-10-28T10:57:25Z)
• Incremental Few-Shot Object Detection [96.02543873402813]
  OpeN-ended Centre nEtは、いくつかの例でクラスオブジェクトの検出を漸進的に学習する検出器である。 ONCEはインクリメンタルな学習パラダイムを十分に尊重しており、新しいクラス登録では、数発のトレーニングサンプルを1回だけフォワードパスするだけでよい。
  論文  参考訳（メタデータ） (2020-03-10T12:56:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。