論文の概要: Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery
- arxiv url: http://arxiv.org/abs/2303.15975v2
- Date: Wed, 29 Mar 2023 11:46:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-30 11:13:31.704123
- Title: Large-scale Pre-trained Models are Surprisingly Strong in Incremental
Novel Class Discovery
- Title(参考訳): 大規模事前学習モデルの創発的新発見は驚くほど強力である
- Authors: Mingxuan Liu, Subhankar Roy, Zhun Zhong, Nicu Sebe, Elisa Ricci
- Abstract要約: 我々は,MSc-iNCDという,より挑戦的で実践的な学習パラダイムを提案する。
本研究では,MSc-iNCDという,より困難で実践的な学習パラダイムを提案する。
- 参考スコア(独自算出の注目度): 76.35226130521758
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discovering novel concepts from unlabelled data and in a continuous manner is
an important desideratum of lifelong learners. In the literature such problems
have been partially addressed under very restricted settings, where either
access to labelled data is provided for discovering novel concepts (e.g., NCD)
or learning occurs for a limited number of incremental steps (e.g.,
class-iNCD). In this work we challenge the status quo and propose a more
challenging and practical learning paradigm called MSc-iNCD, where learning
occurs continuously and unsupervisedly, while exploiting the rich priors from
large-scale pre-trained models. To this end, we propose simple baselines that
are not only resilient under longer learning scenarios, but are surprisingly
strong when compared with sophisticated state-of-the-art methods. We conduct
extensive empirical evaluation on a multitude of benchmarks and show the
effectiveness of our proposed baselines, which significantly raises the bar.
- Abstract(参考訳): ラベルのないデータから新しい概念を連続的に発見することは、生涯学習者にとって重要なデシドラタムである。
文献では、そのような問題は、新しい概念(例えば、NCD)を発見するためにラベル付きデータへのアクセスを提供するか、限られた段階(例えば、クラス-iNCD)で学習を行う、非常に制限された設定の下で部分的に解決されている。
本研究では,現状に挑戦し,msc-incdと呼ばれる,大規模事前学習モデルからの豊富な事前知識を活用しながら,継続的にかつ教師なしに学習を行う,より挑戦的で実践的な学習パラダイムを提案する。
この目的のために,より長い学習シナリオ下ではレジリエンスであるだけでなく,高度な最先端手法と比較して驚くほど強い,シンプルなベースラインを提案する。
我々は、多数のベンチマークで広範な実験的な評価を行い、提案したベースラインの有効性を示し、バーを著しく高めている。
関連論文リスト
- Making Pre-trained Language Models Better Continual Few-Shot Relation
Extractors [15.417833307088637]
連射関係抽出(CFRE)は,新たな関係を連続的に学習するモデルを必要とする実践的問題である。
主な課題は、悲惨な忘れ物と過度に適合することである。
本稿では,事前学習した言語モデルの暗黙的能力を探るために,素早い学習を利用する。
論文 参考訳(メタデータ) (2024-02-24T04:32:44Z) - Generalized Continual Category Discovery [16.10193347806559]
ほとんどのCL(Continuous Learning)メソッドは、エージェントが新しいラベル付きタスクを学習し、以前の知識を忘れないことを期待する、教師付き学習設定の限界を押し上げる。
我々は、この仮定を緩和する新しい枠組みを導入する。正確には、あらゆるタスクにおいて、新しいクラスや既知のクラスの存在を許容し、教師なし学習手法の連続的なバージョンを使用して発見する必要がある。
本稿では,教師付き信号と教師なし信号の両方を組み込んで,セントロイド適応を用いて忘れを緩和する手法を提案する。
論文 参考訳(メタデータ) (2023-08-23T13:02:52Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - Continual Few-shot Relation Learning via Embedding Space Regularization
and Data Augmentation [4.111899441919165]
従来のタスク知識の破滅的な忘れを回避しつつ,ラベル付きデータが少ない新しい関係パターンを学習する必要がある。
埋め込み空間の正規化とデータ拡張に基づく新しい手法を提案する。
提案手法は,新たな数発タスクに一般化し,リレーショナル埋め込みに対する追加制約を課し,自己管理的なデータ追加を行うことにより,過去のタスクの破滅的な忘れを回避している。
論文 参考訳(メタデータ) (2022-03-04T05:19:09Z) - What Makes Good Contrastive Learning on Small-Scale Wearable-based
Tasks? [59.51457877578138]
本研究では,ウェアラブル型行動認識タスクにおけるコントラスト学習について検討する。
本稿では,PyTorchライブラリのtextttCL-HAR について述べる。
論文 参考訳(メタデータ) (2022-02-12T06:10:15Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - An Investigation of Replay-based Approaches for Continual Learning [79.0660895390689]
連続学習(CL)は機械学習(ML)の大きな課題であり、破滅的忘れ(CF)を伴わずに連続的に複数のタスクを学習する能力を記述する。
いくつかの解クラスが提案されており、その単純さと堅牢性から、いわゆるリプレイベースのアプローチは非常に有望であるように思われる。
連続学習におけるリプレイに基づくアプローチを実証的に検討し,応用の可能性を評価する。
論文 参考訳(メタデータ) (2021-08-15T15:05:02Z) - Ask-n-Learn: Active Learning via Reliable Gradient Representations for
Image Classification [29.43017692274488]
深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。
Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
論文 参考訳(メタデータ) (2020-09-30T05:19:56Z) - Instance exploitation for learning temporary concepts from sparsely
labeled drifting data streams [15.49323098362628]
ストリーミングデータソースからの継続的な学習がますます人気を博している。
動的で絶え間ない問題に対処することは 新たな課題を引き起こします
最も重要な制限の1つは、有限で完全なデータセットにアクセスできないことである。
論文 参考訳(メタデータ) (2020-09-20T08:11:43Z) - Incremental Few-Shot Object Detection [96.02543873402813]
OpeN-ended Centre nEtは、いくつかの例でクラスオブジェクトの検出を漸進的に学習する検出器である。
ONCEはインクリメンタルな学習パラダイムを十分に尊重しており、新しいクラス登録では、数発のトレーニングサンプルを1回だけフォワードパスするだけでよい。
論文 参考訳(メタデータ) (2020-03-10T12:56:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。