論文の概要: CALA: A Class-Aware Logit Adapter for Few-Shot Class-Incremental Learning
- arxiv url: http://arxiv.org/abs/2412.12654v1
- Date: Tue, 17 Dec 2024 08:21:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-18 13:58:47.268770
- Title: CALA: A Class-Aware Logit Adapter for Few-Shot Class-Incremental Learning
- Title（参考訳）: CALA:Few-Shot Class-Incremental Learningのためのクラス認識ロジットアダプタ
- Authors: Chengyan Liu, Linglan Zhao, Fan Lyu, Kaile Du, Fuyuan Hu, Tao Zhou,
- Abstract要約: 疑似増分学習パラダイムを用いてバイアス予測の正当性を学習する軽量なアダプタを提案する。
提案手法は,疑似増分学習パラダイムを用いてバイアス予測の正当性を学習する軽量アダプタを含む。
- 参考スコア（独自算出の注目度）: 9.963958892953876
- License:
- Abstract: Few-Shot Class-Incremental Learning (FSCIL) defines a practical but challenging task where models are required to continuously learn novel concepts with only a few training samples. Due to data scarcity, existing FSCIL methods resort to training a backbone with abundant base data and then keeping it frozen afterward. However, the above operation often causes the backbone to overfit to base classes while overlooking the novel ones, leading to severe confusion between them. To address this issue, we propose Class-Aware Logit Adapter (CALA). Our method involves a lightweight adapter that learns to rectify biased predictions through a pseudo-incremental learning paradigm. In the real FSCIL process, we use the learned adapter to dynamically generate robust balancing factors. These factors can adjust confused novel instances back to their true label space based on their similarity to base classes. Specifically, when confusion is more likely to occur in novel instances that closely resemble base classes, greater rectification is required. Notably, CALA operates on the classifier level, preserving the original feature space, thus it can be flexibly plugged into most of the existing FSCIL works for improved performance. Experiments on three benchmark datasets consistently validate the effectiveness and flexibility of CALA. Codes will be available upon acceptance.
- Abstract（参考訳）: FSCIL(Few-Shot Class-Incremental Learning)は、モデルがいくつかのトレーニングサンプルだけで新しい概念を継続的に学習するために必要な、実用的かつ困難なタスクを定義する。
データ不足のため、既存のFSCILメソッドは、豊富なベースデータを持つバックボーンをトレーニングし、その後凍結し続ける。
しかし、上記の操作により、バックボーンが新しいものを見下ろしながらベースクラスに過度に適合することが多く、両者の間に深刻な混乱が生じている。
この問題に対処するため,我々はCALA(Class-Aware Logit Adapter)を提案する。
提案手法は,疑似増分学習パラダイムを用いてバイアス予測の正当性を学習する軽量アダプタを含む。
実際のFSCILプロセスでは、学習したアダプタを使用して、ロバストなバランス係数を動的に生成する。
これらの因子は、基本クラスとの類似性に基づいて、混乱した新規インスタンスを真のラベル空間に戻すことができる。
特に、ベースクラスによく似た新しいインスタンスで混乱が生じやすい場合には、さらなる修正が必要である。
特に、CALAは分類器のレベルで動作し、元の特徴空間を保存するので、既存のFSCILの作業の多くに柔軟にプラグインしてパフォーマンスを向上させることができる。
3つのベンチマークデータセットの実験は、CALAの有効性と柔軟性を一貫して検証している。
コードは受理後利用可能。
関連論文リスト
- Covariance-based Space Regularization for Few-shot Class Incremental Learning [25.435192867105552]
FSCIL(Few-shot Class Incremental Learning)では,ラベル付きデータに制限のあるクラスを継続的に学習する必要がある。
インクリメンタルセッションにおける限られたデータのため、モデルは新しいクラスを過度に適合させ、ベースクラスの破滅的な忘れを苦しむ傾向にある。
最近の進歩は、基本クラス分布を制約し、新しいクラスの識別的表現を学習するプロトタイプベースのアプローチに頼っている。
論文 参考訳（メタデータ） (2024-11-02T08:03:04Z) - Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。
これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。
LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
論文 参考訳（メタデータ） (2024-09-11T17:52:00Z) - Class-Incremental Learning with CLIP: Adaptive Representation Adjustment and Parameter Fusion [10.322832012497722]
クラス増分学習(class-incremental learning)は難しい問題であり、目標は、時間とともに増加するクラスからデータを分類できるモデルをトレーニングすることである。
CLIPのような視覚言語で事前訓練されたモデルの進歩により、彼らは優れた一般化能力を示した。
しかし、単にモデルを微調整することで、下流タスクへのさらなる適応は、ひどく忘れてしまう。
事前訓練されたモデルを用いた既存の研究の多くは、モデルが新しい知識を得るとき、古いクラスを忘れることは一様であると仮定している。
論文 参考訳（メタデータ） (2024-07-19T09:20:33Z) - Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple
Logits Retargeting Approach [102.0769560460338]
我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。
提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
論文 参考訳（メタデータ） (2024-03-01T03:27:08Z) - Few-Shot Class-Incremental Learning via Training-Free Prototype
Calibration [67.69532794049445]
既存のメソッドでは、新しいクラスのサンプルをベースクラスに誤分類する傾向があり、新しいクラスのパフォーマンスが低下する。
我々は,新しいクラスの識別性を高めるため,簡易かつ効果的なトレーニング-フレア・カロブラシアン (TEEN) 戦略を提案する。
論文 参考訳（メタデータ） (2023-12-08T18:24:08Z) - Learning with Fantasy: Semantic-Aware Virtual Contrastive Constraint for
Few-Shot Class-Incremental Learning [42.551377055029334]
FSCIL (Few-shot class-incremental Learning) は、クラスを忘れずに、限られたサンプルから新しいクラスを継続的に分類することを目的としている。
本稿では,新しいクラスとベースクラスの分離を容易にする新しい手法であるSemantic-Aware Virtual Contrastive Model (SAVC)を提案する。
我々のSAVCは、ベースクラス分離と新しいクラス一般化を著しく促進し、3つの広く使用されているFSCILベンチマークデータセット上で、新しい最先端のパフォーマンスを達成する。
論文 参考訳（メタデータ） (2023-04-02T01:51:24Z) - Neural Collapse Inspired Feature-Classifier Alignment for Few-Shot Class
Incremental Learning [120.53458753007851]
FSCIL(Few-shot class-incremental Learning)は、新しいセッションにおいて、新しいクラスごとにいくつかのトレーニングサンプルしかアクセスできないため、難しい問題である。
我々は最近発見された神経崩壊現象にインスパイアされたFSCILのこの不整合ジレンマに対処する。
我々は、FSCILのための神経崩壊誘発フレームワークを提案する。MiniImageNet、CUB-200、CIFAR-100データセットの実験により、提案したフレームワークが最先端のパフォーマンスより優れていることを示す。
論文 参考訳（メタデータ） (2023-02-06T18:39:40Z) - Adaptive Distribution Calibration for Few-Shot Learning with
Hierarchical Optimal Transport [78.9167477093745]
本稿では,新しいサンプルとベースクラス間の適応重み行列を学習し,新しい分布校正法を提案する。
標準ベンチマーク実験の結果,提案したプラグ・アンド・プレイモデルの方が競合する手法より優れていることが示された。
論文 参考訳（メタデータ） (2022-10-09T02:32:57Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Partial Is Better Than All: Revisiting Fine-tuning Strategy for Few-shot
Learning [76.98364915566292]
一般的なプラクティスは、まずベースセット上でモデルをトレーニングし、その後、微調整によって新しいクラスに移行することである。
本稿では,基本モデル内の特定の層を凍結あるいは微調整することにより,部分的知識の伝達を提案する。
提案手法の有効性を実証するために, CUB と mini-ImageNet の広範な実験を行った。
論文 参考訳（メタデータ） (2021-02-08T03:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。