論文の概要: Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective

• arxiv url: http://arxiv.org/abs/2405.15157v1
• Date: Fri, 24 May 2024 02:26:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 18:18:44.319231
• Title: Rethinking Class-Incremental Learning from a Dynamic Imbalanced Learning Perspective
• Title（参考訳）: 動的不均衡学習の観点からの授業増進学習の再考
• Authors: Leyuan Wang, Liuyu Xiang, Yunlong Wang, Huijia Wu, Zhaofeng He,
• Abstract要約: ディープニューラルネットワークは、新しい概念を継続的に学習するとき、破滅的な忘れ込みに悩まされる。 我々は、古いタスクと新しいタスクデータの不均衡が、古いタスクを忘れるのに寄与すると主張している。 本稿では,一様かつコンパクトな特徴を学習するUPCL(Uniform Prototype Contrastive Learning)を提案する。
• 参考スコア（独自算出の注目度）: 5.170794699087535
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks suffer from catastrophic forgetting when continually learning new concepts. In this paper, we analyze this problem from a data imbalance point of view. We argue that the imbalance between old task and new task data contributes to forgetting of the old tasks. Moreover, the increasing imbalance ratio during incremental learning further aggravates the problem. To address the dynamic imbalance issue, we propose Uniform Prototype Contrastive Learning (UPCL), where uniform and compact features are learned. Specifically, we generate a set of non-learnable uniform prototypes before each task starts. Then we assign these uniform prototypes to each class and guide the feature learning through prototype contrastive learning. We also dynamically adjust the relative margin between old and new classes so that the feature distribution will be maintained balanced and compact. Finally, we demonstrate through extensive experiments that the proposed method achieves state-of-the-art performance on several benchmark datasets including CIFAR100, ImageNet100 and TinyImageNet.
• Abstract（参考訳）: ディープニューラルネットワークは、新しい概念を継続的に学習するとき、破滅的な忘れ込みに悩まされる。 本稿では,この問題をデータ不均衡の観点から分析する。 我々は、古いタスクと新しいタスクデータの不均衡が、古いタスクを忘れるのに寄与すると主張している。 さらに、漸進学習における不均衡比の増大により、さらに問題を増大させる。 動的不均衡問題に対処するため,一様・コンパクトな特徴を学習するUniform Prototype Contrastive Learning (UPCL)を提案する。 具体的には、各タスクの開始前に、学習不能な一貫したプロトタイプのセットを生成する。 次に,これらの一様プロトタイプを各クラスに割り当て,プロトタイプのコントラスト学習を通じて特徴学習を指導する。 また、古いクラスと新しいクラスの相対的マージンを動的に調整し、特徴分布をバランスよくコンパクトに保ちます。 最後に,提案手法がCIFAR100, ImageNet100, TinyImageNetなどのベンチマークデータセットに対して, 最先端の性能を実現することを実証した。

関連論文リスト

• TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning [42.630413950957795]
  本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。 TaEは最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-02-08T16:37:04Z)
• Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants [166.916517335816]
  本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
  論文  参考訳（メタデータ） (2023-08-03T13:09:59Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• Learning Instance and Task-Aware Dynamic Kernels for Few Shot Learning [32.3217883750605]
  我々は、手前のタスクの関数として畳み込みネットワークの動的カーネルを学習し、より高速な一般化を可能にする。 実験により,本モデルでは,数発の分類および検出タスクの性能向上を実証的に示す。
  論文  参考訳（メタデータ） (2021-12-07T04:52:36Z)
• Improving Calibration for Long-Tailed Recognition [68.32848696795519]
  このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。 異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。 提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
  論文  参考訳（メタデータ） (2021-04-01T13:55:21Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)
• Generative Feature Replay For Class-Incremental Learning [46.88667212214957]
  タスクIDが推論時に未知であることを意味するクラスインクリメンタル設定を考える。 古いクラスと新しいクラスの不均衡は通常、ネットワークの最新のクラスへのバイアスをもたらす。 本稿では,前向きな表現を必要としない生成的特徴リプレイに基づくソリューションを提案する。
  論文  参考訳（メタデータ） (2020-04-20T10:58:20Z)
• Long-Tailed Recognition Using Class-Balanced Experts [128.73438243408393]
  本稿では,多様な分類器の強度を組み合わせたクラスバランスの専門家のアンサンブルを提案する。 私たちのクラスバランスの専門家のアンサンブルは、最先端に近い結果に到達し、長い尾の認識のための2つのベンチマークで新たな最先端のアンサンブルを確立します。
  論文  参考訳（メタデータ） (2020-04-07T20:57:44Z)
• Imbalanced Data Learning by Minority Class Augmentation using Capsule Adversarial Networks [31.073558420480964]
  本稿では,2つの同時手法を合体させて,不均衡な画像のバランスを回復する手法を提案する。 我々のモデルでは、生成的および識別的ネットワークは、新しい競争力のあるゲームをする。 カプセルGANの合体は、畳み込みGANと比較して非常に少ないパラメータで重なり合うクラスを認識するのに効果的である。
  論文  参考訳（メタデータ） (2020-04-05T12:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。