論文の概要: Learning Adaptive Embedding Considering Incremental Class
- arxiv url: http://arxiv.org/abs/2008.13351v1
- Date: Mon, 31 Aug 2020 04:11:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-23 06:27:04.317654
- Title: Learning Adaptive Embedding Considering Incremental Class
- Title(参考訳): インクリメンタルクラスを考慮した適応埋め込み学習
- Authors: Yang Yang, Zhen-Qiang Sun, HengShu Zhu, Yanjie Fu, Hui Xiong, Jian
Yang
- Abstract要約: CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
- 参考スコア(独自算出の注目度): 55.21855842960139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-Incremental Learning (CIL) aims to train a reliable model with the
streaming data, which emerges unknown classes sequentially. Different from
traditional closed set learning, CIL has two main challenges: 1) Novel class
detection. The initial training data only contains incomplete classes, and
streaming test data will accept unknown classes. Therefore, the model needs to
not only accurately classify known classes, but also effectively detect unknown
classes; 2) Model expansion. After the novel classes are detected, the model
needs to be updated without re-training using entire previous data. However,
traditional CIL methods have not fully considered these two challenges, first,
they are always restricted to single novel class detection each phase and
embedding confusion caused by unknown classes. Besides, they also ignore the
catastrophic forgetting of known categories in model update. To this end, we
propose a Class-Incremental Learning without Forgetting (CILF) framework, which
aims to learn adaptive embedding for processing novel class detection and model
update in a unified framework. In detail, CILF designs to regularize
classification with decoupled prototype based loss, which can improve the
intra-class and inter-class structure significantly, and acquire a compact
embedding representation for novel class detection in result. Then, CILF
employs a learnable curriculum clustering operator to estimate the number of
semantic clusters via fine-tuning the learned network, in which curriculum
operator can adaptively learn the embedding in self-taught form. Therefore,
CILF can detect multiple novel classes and mitigate the embedding confusion
problem. Last, with the labeled streaming test data, CILF can update the
network with robust regularization to mitigate the catastrophic forgetting.
Consequently, CILF is able to iteratively perform novel class detection and
model update.
- Abstract(参考訳): CIL(Class-Incremental Learning)は、ストリーミングデータを用いて信頼性の高いモデルをトレーニングすることを目的としている。
従来の閉集合学習とは異なり、CILには2つの大きな課題がある。
1)新規クラス検出。
最初のトレーニングデータは不完全なクラスのみを含み、ストリーミングテストデータは未知のクラスを受け入れる。
したがって、モデルは既知のクラスを正確に分類するだけでなく、未知のクラスを効果的に検出する必要がある。
2)モデル拡張。
新たなクラスが検出された後、以前のデータ全体を使用せずにモデルを更新する必要がある。
しかし、従来のcil法はこれら2つの課題を完全に考慮していないが、第一に、それらは常に単一の新しいクラス検出に制限され、未知のクラスによって引き起こされる混乱を埋め込む。
さらに、モデルアップデートで既知のカテゴリの破滅的な忘れを無視する。
そこで本研究では,新しいクラス検出とモデル更新を統一されたフレームワークで処理するための適応的な埋め込み学習を目的としたCILFフレームワークを提案する。
より詳しくは、CILFは、クラス内およびクラス間構造を大幅に改善し、新しいクラス検出のためのコンパクトな埋め込み表現を取得することができる、分離されたプロトタイプベース損失による分類を規則化する。
次に、CILFは学習可能なカリキュラムクラスタリング演算子を用いて、学習したネットワークを微調整することで、セマンティッククラスタの数を推定する。
したがって、CILFは複数の新しいクラスを検知し、埋め込み混乱問題を緩和することができる。
最後に、ラベル付きストリーミングテストデータにより、CILFはネットワークを堅牢な正規化で更新し、破滅的な忘れを軽減できる。
これにより、CILFは、新しいクラス検出とモデル更新を反復的に実行することができる。
関連論文リスト
- Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳(メタデータ) (2023-07-05T12:49:02Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳(メタデータ) (2023-06-21T01:43:25Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳(メタデータ) (2022-12-23T18:46:05Z) - Class-incremental Novel Class Discovery [76.35226130521758]
クラス増進型新規クラス発見(class-iNCD)の課題について検討する。
基本クラスに関する過去の情報を忘れないようにする,クラスiNCDのための新しい手法を提案する。
3つの共通ベンチマークで実施した実験により,本手法が最先端の手法を著しく上回ることを示した。
論文 参考訳(メタデータ) (2022-07-18T13:49:27Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳(メタデータ) (2021-11-18T06:58:19Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳(メタデータ) (2021-04-07T10:54:51Z) - Two-Level Residual Distillation based Triple Network for Incremental
Object Detection [21.725878050355824]
本稿では,より高速なR-CNNに基づく新しいインクリメンタルオブジェクト検出手法を提案する。
従来の学習知識を忘れることなく、新しいクラスでの漸進的なモデル学習を支援するためのアシスタントとして、古いモデルと残留モデルを使用する三重ネットワークである。
論文 参考訳(メタデータ) (2020-07-27T11:04:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。