論文の概要: Generative Negative Replay for Continual Learning

• arxiv url: http://arxiv.org/abs/2204.05842v1
• Date: Tue, 12 Apr 2022 14:38:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-13 11:38:19.780977
• Title: Generative Negative Replay for Continual Learning
• Title（参考訳）: 連続学習のための生成的否定再生
• Authors: Gabriele Graffieti, Davide Maltoni, Lorenzo Pellegrini, Vincenzo Lomonaco
• Abstract要約: アキレスの継続的な学習のヒールは、古いデータの一部を保存し、それらを新しい経験とインターリーブした再生である。 生成的リプレイは、生成モデルを使用してオンデマンドで再生パターンを提供する。 生成したデータは通常、古いクラスの分類精度を向上できないが、新しいクラスをより良く学習するためのネガティブな例として有効であることを示す。
• 参考スコア（独自算出の注目度）: 13.492896179777835
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Learning continually is a key aspect of intelligence and a necessary ability to solve many real-life problems. One of the most effective strategies to control catastrophic forgetting, the Achilles' heel of continual learning, is storing part of the old data and replaying them interleaved with new experiences (also known as the replay approach). Generative replay, which is using generative models to provide replay patterns on demand, is particularly intriguing, however, it was shown to be effective mainly under simplified assumptions, such as simple scenarios and low-dimensional data. In this paper, we show that, while the generated data are usually not able to improve the classification accuracy for the old classes, they can be effective as negative examples (or antagonists) to better learn the new classes, especially when the learning experiences are small and contain examples of just one or few classes. The proposed approach is validated on complex class-incremental and data-incremental continual learning scenarios (CORe50 and ImageNet-1000) composed of high-dimensional data and a large number of training experiences: a setup where existing generative replay approaches usually fail.
• Abstract（参考訳）: 継続的な学習は知性の重要な側面であり、多くの現実の問題を解決するために必要な能力である。 破滅的な忘れ方を制御する最も効果的な戦略の1つは、アキレスの継続的学習のヒールであり、古いデータの一部を保存し、それらを新しい経験(リプレイアプローチとしても知られる)で再生する。 需要に応じて再生パターンを提供する生成的リプレイは特に興味深いが、単純なシナリオや低次元データといった単純な仮定の下では有効であることが示されている。 本稿では、生成したデータは、通常、古いクラスの分類精度を向上できないが、特に学習経験が小さく、クラス数が少ない場合に、新しいクラスをより良く学習するためのネガティブな例(またはアンタゴニスト)として有効であることを示す。 提案手法は、高次元データと多数のトレーニング経験からなる複雑なクラス増分およびデータ増分連続学習シナリオ(CORe50とImageNet-1000)で検証される。

関連論文リスト

• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Segue: Side-information Guided Generative Unlearnable Examples for Facial Privacy Protection in Real World [64.4289385463226]
  生成不可能な例としては、Segue: Side-information guided Generative unlearnable Exampleを提案する。 転送性を向上させるために,真のラベルや擬似ラベルなどの側面情報を導入する。 JPEG圧縮、敵対的トレーニング、およびいくつかの標準的なデータ拡張に抵抗することができる。
  論文  参考訳（メタデータ） (2023-10-24T06:22:37Z)
• Looking through the past: better knowledge retention for generative replay in continual learning [18.695587430349438]
  VAEベースの生成再生は、より多くのクラスを持つより複雑なデータを生成するのに十分ではない。 モデルが複雑なデータを学習し、生成することを可能にする3つの修正を提案する。 本手法は,様々なシナリオにおいて,他の再生手法よりも優れる。
  論文  参考訳（メタデータ） (2023-09-18T13:45:49Z)
• Bypassing Logits Bias in Online Class-Incremental Learning with a Generative Framework [15.345043222622158]
  我々は、時間とともに新しいクラスが出現するオンラインのクラス増分学習環境に焦点を当てる。 既存のほとんどのメソッドは、ソフトマックス分類器を使ったリプレイベースである。 特徴空間に基づく新しい生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T06:54:20Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)
• Training Deep Networks from Zero to Hero: avoiding pitfalls and going beyond [59.94347858883343]
  このチュートリアルでは、基本的なステップと、モデルを改善するためのより最近のオプションを取り上げている。 これは特に、課題のデータセットほど準備が不十分なデータセットで有用である。
  論文  参考訳（メタデータ） (2021-09-06T21:31:42Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Generative Feature Replay with Orthogonal Weight Modification for Continual Learning [20.8966035274874]
  生成的再生は、破滅的な忘れを和らげるために、以前のタスクの擬似データを生成し再生する有望な戦略である。 生成モデルを用いて垂直層の特徴を再現することを提案する; 2) 自己監督型補助タスクを活用して特徴の安定性をさらに向上する。 いくつかのデータセットにおける実験結果から,我々の手法は常に強力なOWMよりも大幅に改善されていることが分かる。
  論文  参考訳（メタデータ） (2020-05-07T13:56:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。