論文の概要: Improving Feature Generalizability with Multitask Learning in Class
Incremental Learning
- arxiv url: http://arxiv.org/abs/2204.12915v1
- Date: Tue, 26 Apr 2022 07:47:54 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-29 04:18:08.295242
- Title: Improving Feature Generalizability with Multitask Learning in Class
Incremental Learning
- Title（参考訳）: 授業増分学習におけるマルチタスク学習による特徴一般化性の向上
- Authors: Dong Ma, Chi Ian Tang, Cecilia Mascolo
- Abstract要約: キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。
CILの最大の課題は、破滅的な忘れ、すなわち、新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。
本稿では,基本モデルトレーニング中のマルチタスク学習による特徴一般化性の向上を提案する。
提案手法は,平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にする。
- 参考スコア（独自算出の注目度）: 12.632121107536843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Many deep learning applications, like keyword spotting, require the
incorporation of new concepts (classes) over time, referred to as Class
Incremental Learning (CIL). The major challenge in CIL is catastrophic
forgetting, i.e., preserving as much of the old knowledge as possible while
learning new tasks. Various techniques, such as regularization, knowledge
distillation, and the use of exemplars, have been proposed to resolve this
issue. However, prior works primarily focus on the incremental learning step,
while ignoring the optimization during the base model training. We hypothesize
that a more transferable and generalizable feature representation from the base
model would be beneficial to incremental learning.
In this work, we adopt multitask learning during base model training to
improve the feature generalizability. Specifically, instead of training a
single model with all the base classes, we decompose the base classes into
multiple subsets and regard each of them as a task. These tasks are trained
concurrently and a shared feature extractor is obtained for incremental
learning. We evaluate our approach on two datasets under various
configurations. The results show that our approach enhances the average
incremental learning accuracy by up to 5.5%, which enables more reliable and
accurate keyword spotting over time. Moreover, the proposed approach can be
combined with many existing techniques and provides additional performance
gain.
- Abstract（参考訳）: キーワードスポッティングのような多くのディープラーニングアプリケーションは、クラスインクリメンタルラーニング(CIL)と呼ばれる新しい概念(クラス)を時間とともに組み込む必要がある。
CILの最大の課題は破滅的な忘れ、すなわち新しいタスクを学習しながら可能な限り多くの古い知識を保存することである。
この問題を解決するために, 正規化, 知識蒸留, 例題の使用など様々な技術が提案されている。
しかしながら、事前の作業は主にインクリメンタルな学習ステップに焦点を合わせながら、ベースモデルのトレーニング中の最適化を無視する。
ベースモデルからより転送可能で一般化可能な特徴表現は、インクリメンタル学習に有益だと仮定した。
本研究では,基本モデルトレーニング中にマルチタスク学習を採用し,特徴の一般化性を向上させる。
具体的には、すべてのベースクラスで単一のモデルをトレーニングする代わりに、ベースクラスを複数のサブセットに分解し、それぞれをタスクと見なします。
これらのタスクは同時にトレーニングされ、インクリメンタル学習のために共有特徴抽出器が得られる。
各種構成下での2つのデータセットに対するアプローチを評価する。
その結果,提案手法は平均漸進的学習精度を最大5.5%向上させ,時間とともにより信頼性が高く正確なキーワードスポッティングを可能にした。
さらに,提案手法を既存の手法と組み合わせることで,さらなる性能向上を実現することができる。
関連論文リスト
- Achieving More with Less: A Tensor-Optimization-Powered Ensemble Method [53.170053108447455]
アンサンブル学習(英: Ensemble learning)は、弱い学習者を利用して強力な学習者を生み出す方法である。
我々は、マージンの概念を活かした滑らかで凸な目的関数を設計し、強力な学習者がより差別的になるようにした。
そして、我々のアルゴリズムを、多数のデータセットの10倍の大きさのランダムな森林や他の古典的な手法と比較する。
論文 参考訳（メタデータ） (2024-08-06T03:42:38Z) - Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。
ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。
具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
論文 参考訳（メタデータ） (2024-03-24T12:41:58Z) - Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。
1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。
提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
論文 参考訳（メタデータ） (2024-02-02T09:33:07Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - Cross-Class Feature Augmentation for Class Incremental Learning [45.91253737682168]
本稿では,敵対的攻撃を動機とした機能強化手法を取り入れた新しいクラスインクリメンタルラーニング手法を提案する。
提案手法は,任意の対象クラスの特徴を増大させるため,クラスインクリメンタルラーニングにおける従来の知識を活用するためのユニークな視点を持つ。
提案手法は,様々なシナリオにおいて,既存の段階的学習手法を著しく上回っている。
論文 参考訳（メタデータ） (2023-04-04T15:48:09Z) - Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。
難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。
我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
論文 参考訳（メタデータ） (2021-04-07T10:54:51Z) - Meta-learning the Learning Trends Shared Across Tasks [123.10294801296926]
グラディエントベースのメタ学習アルゴリズムは、限られたデータで新しいタスクに素早く適応する。
既存のメタ学習アプローチは、適応中の現在のタスク情報にのみ依存する。
パターン認識型メタラーニング手法を提案する。
論文 参考訳（メタデータ） (2020-10-19T08:06:47Z) - Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。
本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文 参考訳（メタデータ） (2020-03-21T02:08:17Z) - XtarNet: Learning to Extract Task-Adaptive Representation for
Incremental Few-Shot Learning [24.144499302568565]
本稿では,タスク適応型表現(TAR)を抽出し,段階的な数ショット学習を容易にするXtarNetを提案する。
TARには、新規カテゴリとベースカテゴリの両方を分類するための効果的な情報が含まれている。
XtarNetは、最先端のインクリメンタルな数ショット学習パフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-03-19T04:02:44Z) - Cognitively-Inspired Model for Incremental Learning Using a Few Examples [11.193504036335503]
増分学習は、異なるクラスに分離されたデータのストリームから連続的に学習する分類器の開発を試みる。
ディープラーニングアプローチは、クラスを漸進的に学習する際の破滅的な忘れ込みに悩まされる一方、ほとんどのインクリメンタル学習アプローチは、クラス毎に大量のトレーニングデータを必要とします。
本研究では,海馬と新皮質の概念学習モデルから着想を得た新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-02-27T19:52:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。