論文の概要: Resolving Task Confusion in Dynamic Expansion Architectures for Class
Incremental Learning
- arxiv url: http://arxiv.org/abs/2212.14284v1
- Date: Thu, 29 Dec 2022 12:26:44 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-02 15:45:29.755731
- Title: Resolving Task Confusion in Dynamic Expansion Architectures for Class
Incremental Learning
- Title(参考訳): クラスインクリメンタル学習のための動的拡張アーキテクチャにおけるタスク混乱の解消
- Authors: Bingchen Huang, Zhineng Chen, Peng Zhou, Jiayin Chen, Zuxuan Wu
- Abstract要約: タスク間の差別的・公平な特徴利用を促進するために,タスク関連インクリメンタルラーニング(TCIL)を提案する。
TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。
結果は,TILが常に最先端の精度を達成していることを示す。
- 参考スコア(独自算出の注目度): 27.872317837451977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dynamic expansion architecture is becoming popular in class incremental
learning, mainly due to its advantages in alleviating catastrophic forgetting.
However, task confusion is not well assessed within this framework, e.g., the
discrepancy between classes of different tasks is not well learned (i.e.,
inter-task confusion, ITC), and certain priority is still given to the latest
class batch (i.e., old-new confusion, ONC). We empirically validate the side
effects of the two types of confusion. Meanwhile, a novel solution called Task
Correlated Incremental Learning (TCIL) is proposed to encourage discriminative
and fair feature utilization across tasks. TCIL performs a multi-level
knowledge distillation to propagate knowledge learned from old tasks to the new
one. It establishes information flow paths at both feature and logit levels,
enabling the learning to be aware of old classes. Besides, attention mechanism
and classifier re-scoring are applied to generate more fair classification
scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets.
The results demonstrate that TCIL consistently achieves state-of-the-art
accuracy. It mitigates both ITC and ONC, while showing advantages in battle
with catastrophic forgetting even no rehearsal memory is reserved.
- Abstract(参考訳): 動的拡張アーキテクチャは、主に破滅的な忘れを緩和する利点のために、クラスインクリメンタルラーニングで人気を集めている。
しかし、タスクの混乱は、例えば、異なるタスクのクラス間の不一致(すなわち、タスク間混乱、itc)が十分に学習されておらず、最新のクラスバッチ(すなわち、古い新しい混乱、onc)には、一定の優先度が与えられている。
2種類の混乱の副作用を実証的に検証した。
一方,タスク間の識別的かつ公平な機能利用を促進するために,タスク相関型インクリメンタル学習(tcil)と呼ばれる新しいソリューションが提案されている。
TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。
機能レベルとロジットレベルの両方で情報フローパスを確立し、学習者が古いクラスを認識できるようにする。
また、より公平な分類スコアを生成するために注意機構と分類器の再スコーリングを適用する。
我々は,CIFAR100とImageNet100データセットについて広範な実験を行った。
結果は,TILが常に最先端の精度を実現していることを示す。
ITCとONCの両方を緩和する一方で、リハーサル記憶が保たれることさえなく、破滅的な記憶との戦いの優位性を示している。
関連論文リスト
- MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning
for Multimodal Video Captioning [10.95493493610559]
マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。
特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。
公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
論文 参考訳(メタデータ) (2024-02-27T16:54:08Z) - TaE: Task-aware Expandable Representation for Long Tail Class
Incremental Learning [40.099293186301225]
クラスインクリメンタルラーニング(CIL)は、古いクラスを忘れずに新しいクラスを学ぶ分類器を訓練することを目的としている。
本稿では,タスク固有のトレーニング可能なパラメータを動的に割り当て,更新する,タスク対応拡張可能(TaE)フレームワークを提案する。
我々はCentroid-Enhanced (CEd) 法を開発し、これらのタスク認識パラメータの更新をガイドする。
論文 参考訳(メタデータ) (2024-02-08T16:37:04Z) - Inherit with Distillation and Evolve with Contrast: Exploring Class
Incremental Semantic Segmentation Without Exemplar Memory [23.730424035141155]
本稿では,DADA(Dense Knowledge Distillation on all aspects)とARCL(Asymmetric Region-wise Contrastive Learning)モジュールからなるIDECを提案する。
本稿では,Pascal VOC 2012 ADE20K や ISPRS など,最先端のパフォーマンスによる複数の CISS タスクに対する提案手法の有効性を示す。
論文 参考訳(メタデータ) (2023-09-27T05:38:31Z) - Taxonomic Class Incremental Learning [57.08545061888821]
分類学クラス増分学習問題を提案する。
我々はCILと分類学学習の既存のアプローチをパラメータ継承スキームとして統一する。
CIFAR-100とImageNet-100の実験では,提案手法の有効性が示された。
論文 参考訳(メタデータ) (2023-04-12T00:43:30Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - In Defense of the Learning Without Forgetting for Task Incremental
Learning [91.3755431537592]
破滅的な忘れは、継続的な学習システムへの道のりにおける大きな課題の1つだ。
本稿では, タスクインクリメンタルシナリオにおいて, 正しいアーキテクチャと標準的な拡張セットを併用して, LwF が得られた結果が最新のアルゴリズムを上回り, タスクインクリメンタルシナリオが実現されたことを示す。
論文 参考訳(メタデータ) (2021-07-26T16:23:13Z) - Improving Calibration for Long-Tailed Recognition [68.32848696795519]
このようなシナリオにおけるキャリブレーションとパフォーマンスを改善する2つの方法を提案します。
異なるサンプルによるデータセットバイアスに対して,シフトバッチ正規化を提案する。
提案手法は,複数の長尾認識ベンチマークデータセットに新しいレコードをセットする。
論文 参考訳(メタデータ) (2021-04-01T13:55:21Z) - Essentials for Class Incremental Learning [43.306374557919646]
CIFAR-100とImageNetのクラスインクリメンタルな学習結果は、アプローチをシンプルに保ちながら、最先端の成果を大きなマージンで改善します。
論文 参考訳(メタデータ) (2021-02-18T18:01:06Z) - Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。
ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。
さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
論文 参考訳(メタデータ) (2020-12-31T08:21:37Z) - Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。
旧知識保存のための重み付きユークリッド正規化を提案する。
新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
論文 参考訳(メタデータ) (2020-12-15T07:26:04Z) - iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。
ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。
遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
論文 参考訳(メタデータ) (2020-03-25T21:42:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。