論文の概要: Generative Feature Replay For Class-Incremental Learning

• arxiv url: http://arxiv.org/abs/2004.09199v1
• Date: Mon, 20 Apr 2020 10:58:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 18:02:06.726313
• Title: Generative Feature Replay For Class-Incremental Learning
• Title（参考訳）: 授業増分学習のためのジェネレーティブ・フィーチャー・リプレイ
• Authors: Xialei Liu, Chenshen Wu, Mikel Menta, Luis Herranz, Bogdan Raducanu, Andrew D. Bagdanov, Shangling Jui, Joost van de Weijer
• Abstract要約: タスクIDが推論時に未知であることを意味するクラスインクリメンタル設定を考える。 古いクラスと新しいクラスの不均衡は通常、ネットワークの最新のクラスへのバイアスをもたらす。 本稿では,前向きな表現を必要としない生成的特徴リプレイに基づくソリューションを提案する。
• 参考スコア（独自算出の注目度）: 46.88667212214957
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Humans are capable of learning new tasks without forgetting previous ones, while neural networks fail due to catastrophic forgetting between new and previously-learned tasks. We consider a class-incremental setting which means that the task-ID is unknown at inference time. The imbalance between old and new classes typically results in a bias of the network towards the newest ones. This imbalance problem can either be addressed by storing exemplars from previous tasks, or by using image replay methods. However, the latter can only be applied to toy datasets since image generation for complex datasets is a hard problem. We propose a solution to the imbalance problem based on generative feature replay which does not require any exemplars. To do this, we split the network into two parts: a feature extractor and a classifier. To prevent forgetting, we combine generative feature replay in the classifier with feature distillation in the feature extractor. Through feature generation, our method reduces the complexity of generative replay and prevents the imbalance problem. Our approach is computationally efficient and scalable to large datasets. Experiments confirm that our approach achieves state-of-the-art results on CIFAR-100 and ImageNet, while requiring only a fraction of the storage needed for exemplar-based continual learning. Code available at \url{https://github.com/xialeiliu/GFR-IL}.
• Abstract（参考訳）: 人間は以前のタスクを忘れずに新しいタスクを学習することができるが、ニューラルネットワークは、新しいタスクと以前学習したタスクの間の壊滅的な忘れによって失敗する。 タスクIDが推論時に未知であることを意味するクラスインクリメンタル設定を考える。 古いクラスと新しいクラスの間の不均衡は、一般的にネットワークが最新のクラスに偏りをもたらす。 この不均衡問題は、以前のタスクからの例証を保存したり、イメージ再生手法を使って対処することができる。 しかし、複雑なデータセットに対する画像生成は難しい問題であるため、後者はトイデータセットにのみ適用できる。 本稿では,前例を必要としない生成的特徴リプレイに基づく不均衡問題の解決法を提案する。 そこで我々は,ネットワークを特徴抽出器と分類器の2つに分割した。 忘れないように,分類器における生成的特徴再現と特徴抽出器における特徴蒸留を組み合わせる。 特徴生成により、生成的再生の複雑さを低減し、不均衡問題を防止する。 私たちのアプローチは計算効率が高く,大規模データセットにスケーラブルです。 実験の結果,CIFAR-100 と ImageNet では,従来の連続学習に必要なストレージのごく一部しか必要とせず,現状の成果が得られた。 コードは \url{https://github.com/xialeiliu/gfr-il}。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Provable Multi-Task Representation Learning by Two-Layer ReLU Neural Networks [69.38572074372392]
  本稿では,複数タスクにおける非線形モデルを用いたトレーニング中に特徴学習が発生することを示す最初の結果を示す。 私たちのキーとなる洞察は、マルチタスク事前トレーニングは、通常タスク間で同じラベルを持つポイントを整列する表現を好む擬似コントラスト的損失を誘導するということです。
  論文  参考訳（メタデータ） (2023-07-13T16:39:08Z)
• Density Map Distillation for Incremental Object Counting [37.982124268097]
  インクリメンタルなオブジェクトカウントに対するナイーブなアプローチは、破滅的な忘れ込みに悩まされ、以前のタスクに対する劇的なパフォーマンス低下に悩まされる。 密度マップ蒸留法 (DMD) と呼ばれる, 先例のない関数正規化手法を提案する。 トレーニング中,各タスクに新しいカウンタヘッドを導入し,従来のタスクを忘れないように蒸留損失を導入する。
  論文  参考訳（メタデータ） (2023-04-11T14:46:21Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
  継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。 既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。 我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
  論文  参考訳（メタデータ） (2022-02-21T13:25:03Z)
• Match What Matters: Generative Implicit Feature Replay for Continual Learning [0.0]
  クラス増分学習のためのGenIFeR(Generative Implicit Feature Replay)を提案する。 主な目的は、GAN(Generative Adversarial Network)をトレーニングして、現実的な特徴を含む画像を生成することである。 我々は、GenIFeRが従来の生成画像と特徴再生の両方よりも優れていることを実証的に示す。
  論文  参考訳（メタデータ） (2021-06-09T19:29:41Z)
• Class-incremental Learning using a Sequence of Partial Implicitly Regularized Classifiers [0.0]
  クラス増分学習では、トレーニングデータ全体にアクセスすることなく、複数のクラスを順次学習することが目的である。 CIFAR100データセットの実験では、提案手法がSOTAの性能を大きなマージンで向上させることが示された。
  論文  参考訳（メタデータ） (2021-04-04T10:02:45Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)
• Semantic Drift Compensation for Class-Incremental Learning [48.749630494026086]
  ディープネットワークのクラス増分学習は、分類対象のクラス数を順次増加させる。 本研究では,特徴のセマンティックドリフト(セマンティックドリフト)と呼ばれるドリフトを推定し,その補正を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-04-01T13:31:19Z)
• Adversarial Incremental Learning [0.0]
  ディープラーニングは、以前のデータが利用できない新しいタスクを学ぶ際に、これまで学んだ情報を忘れることができる。 本稿では,新しいタスクのトレーニング中に,古いデータを全く利用しない逆判別器に基づく手法を提案する。 我々は、CIFAR-100、SVHN、MNISTデータセット上で、他の最先端の手法よりも優れている。
  論文  参考訳（メタデータ） (2020-01-30T02:25:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。