論文の概要: Controllable Forgetting Mechanism for Few-Shot Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2501.15998v1
- Date: Mon, 27 Jan 2025 12:31:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-28 14:00:00.941323
- Title: Controllable Forgetting Mechanism for Few-Shot Class-Incremental Learning
- Title(参考訳): Few-Shot Class-Incremental Learningのための制御可能なゲッティング機構
- Authors: Kirill Paramonov, Mete Ozay, Eunju Yang, Jijoong Moon, Umberto Michieli,
- Abstract要約: クラスインクリメンタルな学習は、スマートホームデバイスなど、多くの現実世界のアプリケーションにとって重要である。
モデルが新しいクラスで微調整されることは、しばしば破滅的な忘れの現象を引き起こす。
本稿では,新しいクラスとベースクラスの精度のトレードオフを制御して,この問題に対処するためのシンプルかつ効果的なメカニズムを提案する。
- 参考スコア(独自算出の注目度): 19.87230756515995
- License:
- Abstract: Class-incremental learning in the context of limited personal labeled samples (few-shot) is critical for numerous real-world applications, such as smart home devices. A key challenge in these scenarios is balancing the trade-off between adapting to new, personalized classes and maintaining the performance of the model on the original, base classes. Fine-tuning the model on novel classes often leads to the phenomenon of catastrophic forgetting, where the accuracy of base classes declines unpredictably and significantly. In this paper, we propose a simple yet effective mechanism to address this challenge by controlling the trade-off between novel and base class accuracy. We specifically target the ultra-low-shot scenario, where only a single example is available per novel class. Our approach introduces a Novel Class Detection (NCD) rule, which adjusts the degree of forgetting a priori while simultaneously enhancing performance on novel classes. We demonstrate the versatility of our solution by applying it to state-of-the-art Few-Shot Class-Incremental Learning (FSCIL) methods, showing consistent improvements across different settings. To better quantify the trade-off between novel and base class performance, we introduce new metrics: NCR@2FOR and NCR@5FOR. Our approach achieves up to a 30% improvement in novel class accuracy on the CIFAR100 dataset (1-shot, 1 novel class) while maintaining a controlled base class forgetting rate of 2%.
- Abstract(参考訳): 限定された個人ラベル付きサンプル(フェーショット)のコンテキストにおけるクラスインクリメンタルラーニングは、スマートホームデバイスなど、多くの現実世界のアプリケーションにとって重要である。
これらのシナリオにおける重要な課題は、新しいパーソナライズされたクラスへの適応と、オリジナルのベースクラスのモデルのパフォーマンスの維持の間のトレードオフのバランスである。
新たなクラスでモデルを微調整すると、しばしば破滅的な忘れ込みという現象が起こり、ベースクラスの精度は予測不能かつ著しく低下する。
本稿では,新しいクラスとベースクラス間のトレードオフを制御し,この課題に対処するためのシンプルかつ効果的なメカニズムを提案する。
特に、新規クラス毎に1つの例しか利用できない超低ショットシナリオをターゲットとしています。
提案手法では,新しいクラスの性能を同時に向上しながら,先行を忘れる程度を調節する新しいクラス検出(NCD)ルールを導入する。
現状のFew-Shot Class-Incremental Learning (FSCIL) メソッドに適用することで、ソリューションの汎用性を実証し、異なる設定で一貫した改善を示す。
NCR@2FORとNCR@5FORという新しいメトリクスを紹介します。
提案手法は, CIFAR100データセット(1-shot, 1-new class)において, 最大30%の新規クラス精度向上を実現し, 制御ベースクラス忘れ率2%を維持した。
関連論文リスト
- Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳(メタデータ) (2024-11-02T08:03:04Z) - Bias Mitigating Few-Shot Class-Incremental Learning [17.185744533050116]
クラス増分学習は,限定された新規クラスサンプルを用いて,新規クラスを継続的に認識することを目的としている。
最近の手法では,段階的なセッションで特徴抽出器を微調整することにより,ベースクラスとインクリメンタルクラスの精度の不均衡を緩和している。
本研究では,FSCIL問題におけるモデルバイアスを緩和する新しい手法を提案する。
論文 参考訳(メタデータ) (2024-02-01T10:37:41Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳(メタデータ) (2023-12-08T18:24:08Z) - Fast Hierarchical Learning for Few-Shot Object Detection [57.024072600597464]
転送学習アプローチは、最近、数ショット検出タスクで有望な結果を得た。
これらのアプローチは、ベース検出器の微調整による破滅的な忘れ込みの問題に悩まされる。
この作業における上記の問題に対処する。
論文 参考訳(メタデータ) (2022-10-10T20:31:19Z) - Adaptive Distribution Calibration for Few-Shot Learning with
Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。
標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文 参考訳(メタデータ) (2022-10-09T02:32:57Z) - Demystifying the Base and Novel Performances for Few-shot
Class-incremental Learning [15.762281194023462]
FSCIL(Few-shot class-incremental Learning)は、目に見えない新しいクラスがほとんどサンプルを持って絶えずやってくる現実のシナリオに対処している。
先行知識を忘れずに新しいクラスを認識するモデルを開発する必要がある。
本手法は,高度な最先端アルゴリズムと同等の性能を有することを示す。
論文 参考訳(メタデータ) (2022-06-18T00:39:47Z) - Class-Incremental Learning with Strong Pre-trained Models [97.84755144148535]
CIL(Class-incremental Learning)は、少数のクラス(ベースクラス)から始まる設定で広く研究されている。
我々は、多数のベースクラスで事前訓練された強力なモデルから始まるCILの実証済み実世界の設定について検討する。
提案手法は、解析されたCIL設定すべてに頑健で一般化されている。
論文 参考訳(メタデータ) (2022-04-07T17:58:07Z) - Incremental Few-Shot Learning via Implanting and Compressing [13.122771115838523]
増分的なFew-Shot Learningは、いくつかの例から新しいクラスを継続的に学習するモデルを必要とする。
我々はtextbfImplanting と textbfCompressing と呼ばれる2段階の学習戦略を提案する。
具体的には、textbfImplantingのステップにおいて、新しいクラスのデータ分布をデータ・アサンダント・ベース・セットの助けを借りて模倣することを提案する。
textbfのステップでは、特徴抽出器を各新規クラスを正確に表現し、クラス内コンパクト性を高める。
論文 参考訳(メタデータ) (2022-03-19T11:04:43Z) - Few-Shot Object Detection via Association and DIscrimination [83.8472428718097]
AssociationとDIscriminationによるオブジェクト検出は、新しいクラスごとに2つのステップで識別可能な特徴空間を構築している。
Pascal VOCとMS-COCOデータセットの実験では、FADIは新しいSOTAパフォーマンスを実現し、ショット/スプリットのベースラインを+18.7で大幅に改善した。
論文 参考訳(メタデータ) (2021-11-23T05:04:06Z) - Bridging Non Co-occurrence with Unlabeled In-the-wild Data for
Incremental Object Detection [56.22467011292147]
物体検出における破滅的忘れを緩和するために,いくつかの漸進的学習法が提案されている。
有効性にもかかわらず、これらの手法は新規クラスのトレーニングデータにラベルのないベースクラスの共起を必要とする。
そこで本研究では,新たな授業の訓練において,欠落した基本クラスが原因で生じる非発生を補うために,未ラベルのインザ・ザ・ワイルドデータを使用することを提案する。
論文 参考訳(メタデータ) (2021-10-28T10:57:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。