論文の概要: eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation

• arxiv url: http://arxiv.org/abs/2304.10103v1
• Date: Thu, 20 Apr 2023 06:20:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-21 14:19:30.146520
• Title: eTag: Class-Incremental Learning with Embedding Distillation and Task-Oriented Generation
• Title（参考訳）: eTag: 組み込み蒸留とタスク指向生成によるクラスインクリメンタルラーニング
• Authors: Libo Huang, Yan Zeng, Chuanguang Yang, Zhulin An, Boyu Diao, and Yongjun Xu
• Abstract要約: CIL(Class-Incremental Learning)は、ニューラルネットワークの破滅的な忘れの問題を解決することを目的としている。 最も成功したCILメソッドは、格納された例の助けを借りて特徴抽出器を漸進的に訓練するか、格納されたプロトタイプで特徴分布を推定する。 ニューラルネットワークを漸進的にトレーニングするデータフリーな方法を実現するeTagを提案する。
• 参考スコア（独自算出の注目度）: 14.492976464928875
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class-Incremental Learning (CIL) aims to solve the neural networks' catastrophic forgetting problem, which refers to the fact that once the network updates on a new task, its performance on previously-learned tasks drops dramatically. Most successful CIL methods incrementally train a feature extractor with the aid of stored exemplars, or estimate the feature distribution with the stored prototypes. However, the stored exemplars would violate the data privacy concerns, while the stored prototypes might not reasonably be consistent with a proper feature distribution, hindering the exploration of real-world CIL applications. In this paper, we propose a method of \textit{e}mbedding distillation and \textit{Ta}sk-oriented \textit{g}eneration (\textit{eTag}) for CIL, which requires neither the exemplar nor the prototype. Instead, eTag achieves a data-free manner to train the neural networks incrementally. To prevent the feature extractor from forgetting, eTag distills the embeddings of the network's intermediate blocks. Additionally, eTag enables a generative network to produce suitable features, fitting the needs of the top incremental classifier. Experimental results confirmed that our proposed eTag considerably outperforms the state-of-the-art methods on CIFAR-100 and ImageNet-sub\footnote{Our code is available in the Supplementary Materials.
• Abstract（参考訳）: クラスインクリメンタル学習(cil:class-incremental learning)は、ニューラルネットワークの破滅的な忘れ方問題を解決することを目的としている。 最も成功したCILメソッドは、格納された例の助けを借りて特徴抽出器を漸進的に訓練するか、格納されたプロトタイプで特徴分布を推定する。 しかし、保存されている例えはデータプライバシーの懸念に反するが、保存されているプロトタイプは適切な機能の配布と合理的に一致しない可能性があるため、現実世界のCILアプリケーションの探索を妨げている。 本稿では, cil に対して \textit{e}mbedding 蒸留法と \textit{ta}sk-oriented \textit{g}eneration (\textit{etag}) 法を提案する。 代わりにeTagは、ニューラルネットワークを漸進的にトレーニングする、データフリーな方法を実現する。 特徴抽出器が忘れないように、eTagはネットワークの中間ブロックの埋め込みを蒸留する。 さらに、eTagは生成ネットワークが適切な機能を生成し、上位インクリメンタルな分類器のニーズに適合する。 実験の結果,提案するeTagはCIFAR-100の最先端手法よりも優れており,ImageNet-sub\footnote{Ourコードは補助材料で利用可能であることがわかった。

関連論文リスト

• Enhancing Visual Continual Learning with Language-Guided Supervision [76.38481740848434]
  継続的な学習は、モデルが以前獲得した知識を忘れずに新しいタスクを学習できるようにすることを目的としている。 ワンホットラベルが伝達する少ない意味情報は,タスク間の効果的な知識伝達を妨げている,と我々は主張する。 具体的には, PLM を用いて各クラスのセマンティックターゲットを生成し, 凍結し, 監視信号として機能する。
  論文  参考訳（メタデータ） (2024-03-24T12:41:58Z)
• Task-Adaptive Saliency Guidance for Exemplar-free Class Incremental Learning [60.501201259732625]
  EFCILにタスク適応型サリエンシを導入し、タスク適応型サリエンシ・スーパービジョン(TASS)と呼ばれる新しいフレームワークを提案する。 提案手法は,CIFAR-100, Tiny-ImageNet, ImageNet-Subset EFCILベンチマークを用いて,タスク間のサリエンシマップの保存や,最先端の成果の達成に有効であることを示す。
  論文  参考訳（メタデータ） (2022-12-16T02:43:52Z)
• Weakly Supervised Semantic Segmentation for Large-Scale Point Cloud [69.36717778451667]
  大規模なポイントクラウドセマンティックセグメンテーションのための既存の方法は、高価な、退屈でエラーを起こしやすい手動のポイントワイドアノテーションを必要とする。 この問題を解決するために,2つのコンポーネントを含む効果的な弱教師付き手法を提案する。 実験結果から,既存の弱教師付き手法と完全教師付き手法を比較検討した。
  論文  参考訳（メタデータ） (2022-12-09T09:42:26Z)
• A Multi-Head Model for Continual Learning via Out-of-Distribution Replay [16.189891444511755]
  連続学習(CL)における破滅的忘れ(CF)に対する多くのアプローチが提案されている。 本稿では,MOREと呼ばれるトランスフォーマーネットワークを用いて,タスク毎に個別の分類器(頭部)を構築する手法を提案する。
  論文  参考訳（メタデータ） (2022-08-20T19:17:12Z)
• SCARF: Self-Supervised Contrastive Learning using Random Feature Corruption [72.35532598131176]
  本稿では,特徴のランダムなサブセットを乱してビューを形成するコントラスト学習手法であるSCARFを提案する。 SCARFは既存の戦略を補完し、オートエンコーダのような代替手段より優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-29T08:08:33Z)
• Generate, Annotate, and Learn: Generative Models Advance Self-Training and Knowledge Distillation [58.64720318755764]
  Semi-Supervised Learning (SSL)は多くのアプリケーションドメインで成功している。 知識蒸留(KD)により、深層ネットワークとアンサンブルの圧縮が可能となり、新しいタスク固有の未ラベルの例について知識を蒸留する際に最良の結果が得られる。 我々は、非条件生成モデルを用いて、ドメイン内の未ラベルデータを合成する「生成、注釈、学習(GAL)」と呼ばれる一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-11T05:01:24Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。