論文の概要: Multi-Granularity Regularized Re-Balancing for Class Incremental
Learning
- arxiv url: http://arxiv.org/abs/2206.15189v1
- Date: Thu, 30 Jun 2022 11:04:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-01 14:44:49.165748
- Title: Multi-Granularity Regularized Re-Balancing for Class Incremental
Learning
- Title（参考訳）: クラスインクリメンタル学習のための多粒度正規化再バランシング
- Authors: Huitong Chen, Yu Wang, and Qinghua Hu
- Abstract要約: ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。
古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。
この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
- 参考スコア（独自算出の注目度）: 32.52884416761171
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deep learning models suffer from catastrophic forgetting when learning new
tasks incrementally. Incremental learning has been proposed to retain the
knowledge of old classes while learning to identify new classes. A typical
approach is to use a few exemplars to avoid forgetting old knowledge. In such a
scenario, data imbalance between old and new classes is a key issue that leads
to performance degradation of the model. Several strategies have been designed
to rectify the bias towards the new classes due to data imbalance. However,
they heavily rely on the assumptions of the bias relation between old and new
classes. Therefore, they are not suitable for complex real-world applications.
In this study, we propose an assumption-agnostic method, Multi-Granularity
Regularized re-Balancing (MGRB), to address this problem. Re-balancing methods
are used to alleviate the influence of data imbalance; however, we empirically
discover that they would under-fit new classes. To this end, we further design
a novel multi-granularity regularization term that enables the model to
consider the correlations of classes in addition to re-balancing the data. A
class hierarchy is first constructed by grouping the semantically or visually
similar classes. The multi-granularity regularization then transforms the
one-hot label vector into a continuous label distribution, which reflects the
relations between the target class and other classes based on the constructed
class hierarchy. Thus, the model can learn the inter-class relational
information, which helps enhance the learning of both old and new classes.
Experimental results on both public datasets and a real-world fault diagnosis
dataset verify the effectiveness of the proposed method.
- Abstract（参考訳）: ディープラーニングモデルは、新しいタスクをインクリメンタルに学習するときに壊滅的な忘れに苦しむ。
新しいクラスを学習しながら、古いクラスの知識を維持するために増分学習が提案されている。
典型的なアプローチは、古い知識を忘れないようにいくつかの例を使います。
このようなシナリオでは、古いクラスと新しいクラス間のデータの不均衡が、モデルのパフォーマンス低下につながる重要な問題である。
データ不均衡のため、新しいクラスに対するバイアスを修正するために、いくつかの戦略が設計されている。
しかし、それらは古いクラスと新しいクラスのバイアス関係の仮定に大きく依存している。
したがって、複雑な実世界のアプリケーションには適していない。
本研究では,この問題に対処するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング(MGRB)を提案する。
再バランス手法はデータ不均衡の影響を軽減するために用いられるが、経験的に新しいクラスに不適合であることに気づく。
この目的のために,データの再バランスに加えて,モデルがクラス間の相関を考慮できるような,新たなマルチグラニュラ性正規化項も設計する。
クラス階層は、まずセマンティックまたは視覚的に類似したクラスをグループ化することによって構築される。
多粒度正規化は、構築されたクラス階層に基づいて、対象クラスと他のクラスとの関係を反映した1ホットラベルベクトルを連続ラベル分布に変換する。
したがって、モデルはクラス間の関係情報を学ぶことができ、古いクラスと新しいクラスの両方の学習を促進するのに役立つ。
公開データセットと実世界の故障診断データセットの両方における実験結果は,提案手法の有効性を検証する。
関連論文リスト
- Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳（メタデータ） (2024-11-02T08:03:04Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Class-Incremental Learning: A Survey [84.30083092434938]
CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。
CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。
ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳（メタデータ） (2023-02-07T17:59:05Z) - Generalization Bounds for Few-Shot Transfer Learning with Pretrained
Classifiers [26.844410679685424]
本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。
クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
論文 参考訳（メタデータ） (2022-12-23T18:46:05Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T01:37:00Z) - Self-Supervised Class Incremental Learning [51.62542103481908]
既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。
新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。
本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
論文 参考訳（メタデータ） (2021-11-18T06:58:19Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳（メタデータ） (2021-10-28T10:57:25Z) - Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。
この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
論文 参考訳（メタデータ） (2021-10-13T22:19:53Z) - ClaRe: Practical Class Incremental Learning By Remembering Previous
Class Representations [9.530976792843495]
クラスインクリメンタル学習(cil)は、新しい概念を完全に学習する傾向があるが、古いデータのパフォーマンスと正確性を犠牲にしない。
ClaReは、各インクリメントで学んだクラスの表現を覚えておくことで、CILの効率的なソリューションです。
ClaReは、以前に学習したクラスの分布から多様なインスタンスを生成するため、従来の方法よりも優れた一般化がある。
論文 参考訳（メタデータ） (2021-03-29T10:39:42Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳（メタデータ） (2020-12-15T07:26:04Z) - Learning Adaptive Embedding Considering Incremental Class [55.21855842960139]
CIL(Class-Incremental Learning)は,未知のクラスを逐次生成するストリーミングデータを用いて,信頼性の高いモデルをトレーニングすることを目的としている。
従来のクローズドセット学習とは異なり、CILには2つの大きな課題がある。
新たなクラスが検出された後、以前のデータ全体を使用して再トレーニングすることなく、モデルを更新する必要がある。
論文 参考訳（メタデータ） (2020-08-31T04:11:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。