論文の概要: Covariance-based Space Regularization for Few-shot Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2411.01172v1
• Date: Sat, 02 Nov 2024 08:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:43:20.077557
• Title: Covariance-based Space Regularization for Few-shot Class Incremental Learning
• Title（参考訳）: クラスインクリメンタル学習のための共分散に基づく空間正規化
• Authors: Yijie Hu, Guanyu Yang, Zhaorui Tan, Xiaowei Huang, Kaizhu Huang, Qiu-Feng Wang,
• Abstract要約: FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。 インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。 最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
• 参考スコア（独自算出の注目度）: 25.435192867105552
• License:
• Abstract: Few-shot Class Incremental Learning (FSCIL) presents a challenging yet realistic scenario, which requires the model to continually learn new classes with limited labeled data (i.e., incremental sessions) while retaining knowledge of previously learned base classes (i.e., base sessions). Due to the limited data in incremental sessions, models are prone to overfitting new classes and suffering catastrophic forgetting of base classes. To tackle these issues, recent advancements resort to prototype-based approaches to constrain the base class distribution and learn discriminative representations of new classes. Despite the progress, the limited data issue still induces ill-divided feature space, leading the model to confuse the new class with old classes or fail to facilitate good separation among new classes. In this paper, we aim to mitigate these issues by directly constraining the span of each class distribution from a covariance perspective. In detail, we propose a simple yet effective covariance constraint loss to force the model to learn each class distribution with the same covariance matrix. In addition, we propose a perturbation approach to perturb the few-shot training samples in the feature space, which encourages the samples to be away from the weighted distribution of other classes. Regarding perturbed samples as new class data, the classifier is forced to establish explicit boundaries between each new class and the existing ones. Our approach is easy to integrate into existing FSCIL approaches to boost performance. Experiments on three benchmarks validate the effectiveness of our approach, achieving a new state-of-the-art performance of FSCIL.
• Abstract（参考訳）: FSCIL(Few-shot Class Incremental Learning)は、ラベル付きデータ(インクリメンタルセッション)で新しいクラスを継続的に学習すると同時に、以前に学習したベースクラス(ベースセッション)の知識を保持するモデルである。 インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。 これらの課題に対処するため、近年の進歩は、基本クラス分布を制限し、新しいクラスの識別表現を学習するプロトタイプベースのアプローチに頼っている。 進歩にもかかわらず、制限されたデータ問題は依然として未分割の機能空間を誘導し、新しいクラスを古いクラスと混同したり、新しいクラスを適切に分離するのに失敗する。 本稿では,共分散の観点から各クラス分布のスパンを直接制約することにより,これらの問題を緩和することを目的とする。 本稿では,モデルに同じ共分散行列を用いて各クラス分布の学習を強制する,単純かつ効果的な共分散制約損失を提案する。 さらに,特徴空間における数発のトレーニングサンプルを摂動する摂動アプローチを提案し,他のクラスの重み付け分布から遠ざかるようにした。 摂動サンプルを新しいクラスデータとして扱う場合、分類器は各新しいクラスと既存のクラスの間に明確な境界を確立することを余儀なくされる。 我々のアプローチは、パフォーマンスを高めるために既存のFSCILアプローチと簡単に統合できます。 3つのベンチマーク実験により,本手法の有効性が検証され,FSCILの最先端性能が向上した。

関連論文リスト

• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• Few-Shot Class-Incremental Learning via Training-Free Prototype Calibration [67.69532794049445]
  既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。 我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-08T18:24:08Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• S3C: Self-Supervised Stochastic Classifiers for Few-Shot Class-Incremental Learning [22.243176199188238]
  FSCIL(Few-shot class-incremental Learning)は、既に学習済みのクラスについての知識を忘れずに、ラベル付きサンプルがほとんどない新しいクラスについて徐々に学習することを目的としている。 FSCILには2つの大きな課題がある: (i) 限られたデータ量のために新しいクラスに過度に適合すること、 (ii) 段階的にこれらのクラスからのデータが利用できないために古いクラスを破滅的に忘れること。
  論文  参考訳（メタデータ） (2023-07-05T12:41:46Z)
• Harmonizing Base and Novel Classes: A Class-Contrastive Approach for Generalized Few-Shot Segmentation [78.74340676536441]
  本稿では,プロトタイプの更新を規制し,プロトタイプ間の距離を広くするために,クラス間のコントラスト損失とクラス関係損失を提案する。 提案手法は,PASCAL VOC および MS COCO データセット上での一般化された小ショットセグメンテーションタスクに対して,新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-03-24T00:30:25Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Adaptive Distribution Calibration for Few-Shot Learning with Hierarchical Optimal Transport [78.9167477093745]
  本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。 標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-10-09T02:32:57Z)
• Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
  ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。 古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。 この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:04:51Z)
• Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
  AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。 Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
  論文  参考訳（メタデータ） (2021-11-23T05:04:06Z)
• Subspace Regularizers for Few-Shot Class Incremental Learning [26.372024890126408]
  既存のクラスの重みに代表される部分空間に近づき、新しいクラスに対する重みベクトルを奨励する、新しい部分空間正規化スキームの族を示す。 この結果から,クラス表現の幾何学的正則化は連続学習に有効なツールであることが示唆された。
  論文  参考訳（メタデータ） (2021-10-13T22:19:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。