論文の概要: Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants

• arxiv url: http://arxiv.org/abs/2308.01746v1
• Date: Thu, 3 Aug 2023 13:09:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:10:19.267855
• Title: Neural Collapse Terminus: A Unified Solution for Class Incremental Learning and Its Variants
• Title（参考訳）: neural collapse terminus:クラスインクリメンタル学習とその変種のための統合ソリューション
• Authors: Yibo Yang, Haobo Yuan, Xiangtai Li, Jianlong Wu, Lefei Zhang, Zhouchen Lin, Philip Torr, Dacheng Tao, Bernard Ghanem
• Abstract要約: 本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 本手法は,データ不均衡やデータ不足にかかわらず,神経崩壊最適度を漸進的に保持する。
• 参考スコア（独自算出の注目度）: 166.916517335816
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How to enable learnability for new classes while keeping the capability well on old classes has been a crucial challenge for class incremental learning. Beyond the normal case, long-tail class incremental learning and few-shot class incremental learning are also proposed to consider the data imbalance and data scarcity, respectively, which are common in real-world implementations and further exacerbate the well-known problem of catastrophic forgetting. Existing methods are specifically proposed for one of the three tasks. In this paper, we offer a unified solution to the misalignment dilemma in the three tasks. Concretely, we propose neural collapse terminus that is a fixed structure with the maximal equiangular inter-class separation for the whole label space. It serves as a consistent target throughout the incremental training to avoid dividing the feature space incrementally. For CIL and LTCIL, we further propose a prototype evolving scheme to drive the backbone features into our neural collapse terminus smoothly. Our method also works for FSCIL with only minor adaptations. Theoretical analysis indicates that our method holds the neural collapse optimality in an incremental fashion regardless of data imbalance or data scarcity. We also design a generalized case where we do not know the total number of classes and whether the data distribution is normal, long-tail, or few-shot for each coming session, to test the generalizability of our method. Extensive experiments with multiple datasets are conducted to demonstrate the effectiveness of our unified solution to all the three tasks and the generalized case.
• Abstract（参考訳）: 古いクラスで機能を維持しながら新しいクラスを学習しやすくする方法は、クラスインクリメンタルラーニングにとって重要な課題である。 通常のケース以外では,データ不均衡とデータ不足を考慮し,破滅的忘れ込みの問題をさらに悪化させるために,長期クラスインクリメンタルラーニングと少ショットクラスインクリメンタルラーニングも提案されている。 3つのタスクのうちの1つに、既存のメソッドが特に提案されている。 本稿では,3つの課題における不整合ジレンマに対する統一解を提案する。 具体的には、ラベル空間全体の最大等角的クラス間分離を有する固定構造である神経崩壊終端を提案する。 インクリメンタルなトレーニングを通じて一貫したターゲットとして機能し、インクリメンタルな機能領域の分割を避ける。 さらに, CIL と LTCIL に対して, バックボーンの特徴をスムーズに神経崩壊終端へ押し込む手法を提案する。 また,本手法は小適応のみでFSCILでも有効である。 理論的解析により,データ不均衡やデータ不足によらず,神経崩壊最適性を漸進的に維持することが示唆された。 また,本手法の一般化可能性をテストするために,クラス総数やデータ分布が通常のものなのか,ロングテールなのか,あるいは数ショットなのかを知らない汎用ケースを設計する。 3つのタスクすべてに対する統一ソリューションの有効性と汎用的なケースを実証するために,複数のデータセットを用いた広範な実験を行った。

関連論文リスト

• OrCo: Towards Better Generalization via Orthogonality and Contrast for Few-Shot Class-Incremental Learning [57.43911113915546]
  FSCIL(Few-Shot Class-Incremental Learning)は、問題空間を限られたデータで拡張するパラダイムを導入する。 FSCILの手法は、データが漸進的に到着するにつれて、破滅的な忘れ込みの課題に直面している。 表現空間における特徴の直交性と対照的な学習という2つの基本原理に基づいて構築されたOrCoフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T13:30:48Z)
• Class-Imbalanced Semi-Supervised Learning for Large-Scale Point Cloud Semantic Segmentation via Decoupling Optimization [64.36097398869774]
  半教師付き学習(SSL)は大規模3Dシーン理解のための活発な研究課題である。 既存のSSLベースのメソッドは、クラス不均衡とポイントクラウドデータのロングテール分布による厳しいトレーニングバイアスに悩まされている。 本稿では,特徴表現学習と分類器を別の最適化方法で切り離してバイアス決定境界を効果的にシフトする,新しいデカップリング最適化フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-13T04:16:40Z)
• Complementary Learning Subnetworks for Parameter-Efficient Class-Incremental Learning [40.13416912075668]
  本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。 提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
  論文  参考訳（メタデータ） (2023-06-21T01:43:25Z)
• Constructing Balance from Imbalance for Long-tailed Image Recognition [50.6210415377178]
  多数派(頭)クラスと少数派(尾)クラスの不均衡は、データ駆動のディープニューラルネットワークを著しく歪ませる。 従来の手法では、データ分散、特徴空間、モデル設計の観点からデータ不均衡に対処していた。 ラベル空間を段階的に調整し,ヘッドクラスとテールクラスを分割することで,簡潔なパラダイムを提案する。 提案モデルでは,特徴評価手法も提供し,長期的特徴学習の道を開く。
  論文  参考訳（メタデータ） (2022-08-04T10:22:24Z)
• AdAUC: End-to-end Adversarial AUC Optimization Against Long-tail Problems [102.95119281306893]
  我々は、AUCを最適化するための敵の訓練方法を探求するための早期トライアルを提示する。 我々は、AUC最適化問題をサドル点問題として再構成し、目的がインスタンスワイズ関数となる。 我々の分析は, min-max問題の勾配を計算して, 逆例を生成するアルゴリズムが求められているため, 既存の研究と異なる。
  論文  参考訳（メタデータ） (2022-06-24T09:13:39Z)
• A Comparative Study of Calibration Methods for Imbalanced Class Incremental Learning [10.680349952226935]
  不均衡なデータセットから漸進的に学習する問題を考察する。 インクリメンタルな状態にまたがって古いクラスの例を格納するために、バウンダリメモリを使用します。 より単純なバニラファインチューニングは、不均衡なインクリメンタル学習アルゴリズムのための強力なバックボーンであることを示す。
  論文  参考訳（メタデータ） (2022-02-01T12:56:17Z)
• Self-Supervised Class Incremental Learning [51.62542103481908]
  既存のクラスインクリメンタルラーニング(CIL)手法は、データラベルに敏感な教師付き分類フレームワークに基づいている。 新しいクラスデータに基づいて更新する場合、それらは破滅的な忘れがちである。 本稿では,SSCILにおける自己指導型表現学習のパフォーマンスを初めて考察する。
  論文  参考訳（メタデータ） (2021-11-18T06:58:19Z)
• Generalized One-Class Learning Using Pairs of Complementary Classifiers [41.64645294104883]
  1クラス学習は、単一のクラスでのみアノテーションが利用できるデータにモデルを適合させる古典的な問題である。 本稿では,一級学習の新たな目的を探求し,これを一般化一級識別サブスペース(GODS)と呼ぶ。
  論文  参考訳（メタデータ） (2021-06-24T18:52:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。