論文の概要: TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning
- arxiv url: http://arxiv.org/abs/2402.05797v2
- Date: Thu, 07 Nov 2024 07:47:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-08 19:36:22.779518
- Title: TaE: Task-aware Expandable Representation for Long Tail Class Incremental Learning
- Title（参考訳）: TaE:Long Tail Class Incremental Learningのためのタスク認識拡張型表現
- Authors: Linjie Li, Zhenyu Wu, Jiaming Liu, Yang Ji,
- Abstract要約: 本稿では,各タスクから多様な表現を学習するための新しいタスク対応拡張(TaE)フレームワークを提案する。
TaEは最先端のパフォーマンスを達成する。
- 参考スコア（独自算出の注目度）: 42.630413950957795
- License:
- Abstract: Class-incremental learning is dedicated to the development of deep learning models that are capable of acquiring new knowledge while retaining previously learned information. Most methods focus on balanced data distribution for each task, overlooking real-world long-tailed distributions. Therefore, Long-Tailed Class-Incremental Learning has been introduced, which trains on data where head classes have more samples than tail classes. Existing methods mainly focus on preserving representative samples from previous classes to combat catastrophic forgetting. Recently, dynamic network algorithms freeze old network structures and expand new ones, achieving significant performance. However, with the introduction of the long-tail problem, merely extending Determined blocks can lead to miscalibrated predictions, while expanding the entire backbone results in an explosion of memory size. To address these issues, we introduce a novel Task-aware Expandable (TaE) framework, dynamically allocating and updating task-specific trainable parameters to learn diverse representations from each incremental task while resisting forgetting through the majority of frozen model parameters. To further encourage the class-specific feature representation, we develop a Centroid-Enhanced (CEd) method to guide the update of these task-aware parameters. This approach is designed to adaptively allocate feature space for every class by adjusting the distance between intra- and inter-class features, which can extend to all "training from sketch" algorithms. Extensive experiments demonstrate that TaE achieves state-of-the-art performance.
- Abstract（参考訳）: クラスインクリメンタルラーニングは、以前に学習した情報を保持しながら新しい知識を習得できるディープラーニングモデルの開発に特化している。
ほとんどの方法は、現実の長い尾の分布を見渡すことで、各タスクのバランスのとれたデータ分布に焦点を当てている。
そのため、長大なクラス増分学習が導入されており、ヘッドクラスがテールクラスよりも多くのサンプルを持つデータで訓練されている。
既存の方法は主に、破滅的な忘れと戦うために、以前のクラスからの代表サンプルを保存することに焦点を当てている。
近年、動的ネットワークアルゴリズムが古いネットワーク構造を凍結し、新しいネットワーク構造を拡張し、大幅な性能を実現している。
しかし、ロングテール問題の導入により、決定ブロックを単に拡張するだけで誤った予測を導き、バックボーン全体を拡張すればメモリサイズが爆発する。
これらの課題に対処するために,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新し,各インクリメンタルタスクから多様な表現を学習し,凍結モデルパラメータの大部分を忘れることに抵抗する新しいタスク対応拡張(TaE)フレームワークを導入する。
クラス固有の特徴表現をさらに促進するために,これらのタスク認識パラメータの更新をガイドするCentroid-Enhanced (CEd) 手法を開発した。
このアプローチは、クラス内の機能とクラス間の距離を調整することで、すべてのクラスの機能空間を適応的に割り当てるように設計されている。
大規模な実験により、TaEが最先端のパフォーマンスを達成することが示された。
関連論文リスト
- Efficient Non-Exemplar Class-Incremental Learning with Retrospective Feature Synthesis [21.348252135252412]
現在のNon-Exemplar Class-Incremental Learning (NECIL)メソッドは、クラス毎に1つのプロトタイプを格納することで、忘れを軽減している。
そこで本研究では,より効率的なNECIL手法を提案する。
提案手法は,非経験的クラスインクリメンタル学習の効率を大幅に向上させ,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-03T07:19:11Z) - Robust Feature Learning and Global Variance-Driven Classifier Alignment
for Long-Tail Class Incremental Learning [20.267257778779992]
本稿では,長期クラスインクリメンタルラーニングの強化を目的とした2段階フレームワークを提案する。
本研究は,ロングテールクラスインクリメンタルラーニングにおいて,テールクラスの表現不足がもたらす課題に対処する。
提案するフレームワークは,任意のクラスインクリメンタル学習メソッドをモジュールとしてシームレスに統合することができる。
論文 参考訳（メタデータ） (2023-11-02T13:28:53Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Propheter: Prophetic Teacher Guided Long-Tailed Distribution Learning [44.947984354108094]
本稿では,より深いネットワークの学習を外部の事前知識で導くことによってボトルネックを突破する,革新的なロングテール学習パラダイムを提案する。
提案された予言的パラダイムは、長い尾のデータセットにおける限られたクラス知識の挑戦に対する有望な解決策として機能する。
論文 参考訳（メタデータ） (2023-04-09T02:02:19Z) - Dense Network Expansion for Class Incremental Learning [61.00081795200547]
最先端のアプローチでは、ネットワーク拡張(NE)に基づいた動的アーキテクチャを使用し、タスクごとにタスクエキスパートを追加する。
精度とモデル複雑性のトレードオフを改善するために,新しい NE 手法である高密度ネットワーク拡張 (DNE) を提案する。
従来のSOTA法では、類似またはより小さなモデルスケールで、精度の点で4%のマージンで性能が向上した。
論文 参考訳（メタデータ） (2023-03-22T16:42:26Z) - Few-Shot Class-Incremental Learning by Sampling Multi-Phase Tasks [59.12108527904171]
モデルは新しいクラスを認識し、古いクラスに対する差別性を維持すべきである。
古いクラスを忘れずに新しいクラスを認識するタスクは、FSCIL ( few-shot class-incremental Learning) と呼ばれる。
我々は,LearnIng Multi-phase Incremental Tasks (LIMIT) によるメタラーニングに基づくFSCILの新しいパラダイムを提案する。
論文 参考訳（メタデータ） (2022-03-31T13:46:41Z) - GROWN: GRow Only When Necessary for Continual Learning [39.56829374809613]
ディープニューラルネットワーク(Deep Neural Networks, DNN)は、新しいタスクを学ぶ際に、以前のタスクに関する知識を忘れてしまう。
この問題に対処するために、新しいタスクを逐次学習し、忘れずに古いタスクから新しいタスクへの知識伝達を行う連続学習が開発された。
GROWNは、必要な時にのみモデルを動的に成長させる、新しいエンドツーエンドの継続的学習フレームワークである。
論文 参考訳（メタデータ） (2021-10-03T02:31:04Z) - Efficient Feature Transformations for Discriminative and Generative
Continual Learning [98.10425163678082]
継続的学習のための簡易タスク特化機能マップ変換戦略を提案する。
これらは新しいタスクを学習するための強力な柔軟性を提供し、ベースアーキテクチャに最小パラメータを追加することで実現される。
本手法の有効性と効率を,判別(cifar-100およびimagenet-1k)および生成的タスクの一連の実験を用いて実証する。
論文 参考訳（メタデータ） (2021-03-25T01:48:14Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳（メタデータ） (2020-03-25T21:42:48Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。