論文の概要: Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2212.14284v1
• Date: Thu, 29 Dec 2022 12:26:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-02 15:45:29.755731
• Title: Resolving Task Confusion in Dynamic Expansion Architectures for Class Incremental Learning
• Title（参考訳）: クラスインクリメンタル学習のための動的拡張アーキテクチャにおけるタスク混乱の解消
• Authors: Bingchen Huang, Zhineng Chen, Peng Zhou, Jiayin Chen, Zuxuan Wu
• Abstract要約: タスク間の差別的・公平な特徴利用を促進するために,タスク関連インクリメンタルラーニング(TCIL)を提案する。 TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。 結果は,TILが常に最先端の精度を達成していることを示す。
• 参考スコア（独自算出の注目度）: 27.872317837451977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The dynamic expansion architecture is becoming popular in class incremental learning, mainly due to its advantages in alleviating catastrophic forgetting. However, task confusion is not well assessed within this framework, e.g., the discrepancy between classes of different tasks is not well learned (i.e., inter-task confusion, ITC), and certain priority is still given to the latest class batch (i.e., old-new confusion, ONC). We empirically validate the side effects of the two types of confusion. Meanwhile, a novel solution called Task Correlated Incremental Learning (TCIL) is proposed to encourage discriminative and fair feature utilization across tasks. TCIL performs a multi-level knowledge distillation to propagate knowledge learned from old tasks to the new one. It establishes information flow paths at both feature and logit levels, enabling the learning to be aware of old classes. Besides, attention mechanism and classifier re-scoring are applied to generate more fair classification scores. We conduct extensive experiments on CIFAR100 and ImageNet100 datasets. The results demonstrate that TCIL consistently achieves state-of-the-art accuracy. It mitigates both ITC and ONC, while showing advantages in battle with catastrophic forgetting even no rehearsal memory is reserved.
• Abstract（参考訳）: 動的拡張アーキテクチャは、主に破滅的な忘れを緩和する利点のために、クラスインクリメンタルラーニングで人気を集めている。 しかし、タスクの混乱は、例えば、異なるタスクのクラス間の不一致(すなわち、タスク間混乱、itc)が十分に学習されておらず、最新のクラスバッチ(すなわち、古い新しい混乱、onc)には、一定の優先度が与えられている。 2種類の混乱の副作用を実証的に検証した。 一方,タスク間の識別的かつ公平な機能利用を促進するために,タスク相関型インクリメンタル学習(tcil)と呼ばれる新しいソリューションが提案されている。 TCILは、古いタスクから学んだ知識を新しいタスクに伝達するために、多段階の知識蒸留を行う。 機能レベルとロジットレベルの両方で情報フローパスを確立し、学習者が古いクラスを認識できるようにする。 また、より公平な分類スコアを生成するために注意機構と分類器の再スコーリングを適用する。 我々は,CIFAR100とImageNet100データセットについて広範な実験を行った。 結果は,TILが常に最先端の精度を実現していることを示す。 ITCとONCの両方を緩和する一方で、リハーサル記憶が保たれることさえなく、破滅的な記憶との戦いの優位性を示している。

関連論文リスト

• Versatile Incremental Learning: Towards Class and Domain-Agnostic Incremental Learning [16.318126586825734]
  インクリメンタルラーニング(IL)は、逐次入力タスクから知識を蓄積することを目的としている。 私たちはVersatile Incremental Learning (VIL) という,より挑戦的で現実的で,未探索のILシナリオを考えています。 Incremental with Shift cONtrol (ICON) という,シンプルで効果的なILフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-17T07:44:28Z)
• Joint Input and Output Coordination for Class-Incremental Learning [84.36763449830812]
  本稿では,これらの問題に対処するためのJIOC機構を提案する。 このメカニズムは、出力スコアの勾配に応じて異なるカテゴリのデータに異なる重みを割り当てる。 メモリストレージを使用するさまざまなインクリメンタルな学習アプローチに組み込むことができる。
  論文  参考訳（メタデータ） (2024-09-09T13:55:07Z)
• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• MCF-VC: Mitigate Catastrophic Forgetting in Class-Incremental Learning for Multimodal Video Captioning [10.95493493610559]
  マルチモーダルビデオキャプション(MCF-VC)のためのクラス増分学習におけるカタストロフィックフォーミングの軽減手法を提案する。 特徴レベルでの旧タスクと新タスクの知識特性をよりよく制約するために,2段階知識蒸留(TsKD)を作成した。 公開データセットMSR-VTTを用いた実験により,提案手法は古いサンプルを再生することなく過去のタスクを忘れることに対して著しく抵抗し,新しいタスクでうまく機能することを示した。
  論文  参考訳（メタデータ） (2024-02-27T16:54:08Z)
• Taxonomic Class Incremental Learning [57.08545061888821]
  分類学クラス増分学習問題を提案する。 我々はCILと分類学学習の既存のアプローチをパラメータ継承スキームとして統一する。 CIFAR-100とImageNet-100の実験では,提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-04-12T00:43:30Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Incremental Embedding Learning via Zero-Shot Translation [65.94349068508863]
  現在の最先端のインクリメンタル学習手法は、従来の分類ネットワークにおける破滅的な忘れ方問題に取り組む。 ゼロショット変換クラス増分法(ZSTCI)と呼ばれる新しい組込みネットワークのクラス増分法を提案する。 さらに、ZSTCIを既存の正規化ベースのインクリメンタル学習手法と組み合わせることで、組み込みネットワークの性能をより向上させることができる。
  論文  参考訳（メタデータ） (2020-12-31T08:21:37Z)
• Class-incremental Learning with Rectified Feature-Graph Preservation [24.098892115785066]
  本論文の中心的なテーマは,逐次的な段階を経る新しいクラスを学習することである。 旧知識保存のための重み付きユークリッド正規化を提案する。 新しいクラスを効果的に学習するために、クラス分離を増やすためにバイナリクロスエントロピーでどのように機能するかを示す。
  論文  参考訳（メタデータ） (2020-12-15T07:26:04Z)
• iTAML: An Incremental Task-Agnostic Meta-learning Approach [123.10294801296926]
  人間は経験が成長するにつれて、新しい知識を継続的に学ぶことができる。 ディープニューラルネットワークにおける以前の学習は、新しいタスクでトレーニングされたときにすぐに消えてしまう可能性がある。 遭遇した全てのタスク間の平衡を維持するために,新しいメタラーニング手法を導入する。
  論文  参考訳（メタデータ） (2020-03-25T21:42:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。