論文の概要: TaE: Task-aware Expandable Representation for Long Tail Class
Incremental Learning
- arxiv url: http://arxiv.org/abs/2402.05797v1
- Date: Thu, 8 Feb 2024 16:37:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-09 14:16:43.734334
- Title: TaE: Task-aware Expandable Representation for Long Tail Class
Incremental Learning
- Title（参考訳）: TaE:Long Tail Class Incremental Learningのためのタスク認識拡張型表現
- Authors: Linjie Li, S. Liu, Zhenyu Wu, JI yang
- Abstract要約: クラスインクリメンタルラーニング(CIL)は、古いクラスを忘れずに新しいクラスを学ぶ分類器を訓練することを目的としている。
本稿では,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新する,タスク対応拡張可能(TaE)フレームワークを提案する。
我々はCentroid-Enhanced (CEd) 法を開発し、これらのタスク認識パラメータの更新をガイドする。
- 参考スコア（独自算出の注目度）: 40.099293186301225
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Class-incremental learning (CIL) aims to train classifiers that learn new
classes without forgetting old ones. Most CIL methods focus on balanced data
distribution for each task, overlooking real-world long-tailed distributions.
Therefore, Long-Tailed Class-Incremental Learning (LT-CIL) has been introduced,
which trains on data where head classes have more samples than tail classes.
Existing methods mainly focus on preserving representative samples from
previous classes to combat catastrophic forgetting. Recently, dynamic network
algorithms frozen old network structures and expanded new ones, achieving
significant performance. However, with the introduction of the long-tail
problem, merely extending task-specific parameters can lead to miscalibrated
predictions, while expanding the entire model results in an explosion of memory
size. To address these issues, we introduce a novel Task-aware Expandable (TaE)
framework, dynamically allocating and updating task-specific trainable
parameters to learn diverse representations from each incremental task, while
resisting forgetting through the majority of frozen model parameters. To
further encourage the class-specific feature representation, we develop a
Centroid-Enhanced (CEd) method to guide the update of these task-aware
parameters. This approach is designed to adaptively minimize the distances
between intra-class features while simultaneously maximizing the distances
between inter-class features across all seen classes. The utility of this
centroid-enhanced method extends to all "training from scratch" CIL algorithms.
Extensive experiments were conducted on CIFAR-100 and ImageNet100 under
different settings, which demonstrates that TaE achieves state-of-the-art
performance.
- Abstract（参考訳）: class-incremental learning (cil) は、古いクラスを忘れずに新しいクラスを学ぶ分類器を訓練することを目的としている。
ほとんどのCIL手法は、現実世界の長い尾の分布を見渡すことで、各タスクのバランスの取れたデータ分布に焦点を当てている。
そのため,ヘッドクラスがテールクラスよりも多くのサンプルを持つデータに基づいてトレーニングを行う,long-tailed class-incremental learning (lt-cil)が導入された。
既存の方法は主に、破滅的な忘れと戦うために、以前のクラスからの代表サンプルを保存することに焦点を当てている。
最近、動的ネットワークアルゴリズムは古いネットワーク構造を凍結し、新しい構造を拡張し、大きな性能を実現した。
しかし、ロングテール問題の導入により、単にタスク固有のパラメータを拡張すれば誤った予測を導き、モデル全体を拡張すればメモリサイズが爆発する。
これらの問題に対処するために,我々は,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新し,各インクリメンタルタスクから多様な表現を学習する新しいタスクアウェア拡張(tae)フレームワークを導入する。
クラス固有の特徴表現をさらに促進するために,これらのタスク認識パラメータの更新をガイドするCentroid-Enhanced (CEd) 手法を開発した。
このアプローチはクラス内特徴間の距離を適応的に最小化し、クラス間特徴間の距離を最大化するように設計されている。
このcentroid-enhanced法の有用性は、すべての "training from scratch" cilアルゴリズムに及んでいる。
CIFAR-100とImageNet100を異なる設定で大規模な実験を行い、TaEが最先端の性能を発揮することを示した。
関連論文リスト
- Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-03T07:19:11Z) - Robust Feature Learning and Global Variance-Driven Classifier Alignment
for Long-Tail Class Incremental Learning [20.267257778779992]
本稿では,長期クラスインクリメンタルラーニングの強化を目的とした2段階フレームワークを提案する。
本研究は,ロングテールクラスインクリメンタルラーニングにおいて,テールクラスの表現不足がもたらす課題に対処する。
提案するフレームワークは,任意のクラスインクリメンタル学習メソッドをモジュールとしてシームレスに統合することができる。
論文 参考訳（メタデータ） (2023-11-02T13:28:53Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。
提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
論文 参考訳（メタデータ） (2023-04-09T02:02:19Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。
この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。
GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
論文 参考訳（メタデータ） (2021-10-03T02:31:04Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。