論文の概要: Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy

• arxiv url: http://arxiv.org/abs/2312.10549v1
• Date: Sat, 16 Dec 2023 22:24:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-19 15:53:17.340382
• Title: Catastrophic Forgetting in Deep Learning: A Comprehensive Taxonomy
• Title（参考訳）: 深層学習におけるカタストロフィック・フォーミング : 包括的分類学
• Authors: Everton L. Aleixo and Juan G. Colonna and Marco Cristo and Everlandio Fernandes
• Abstract要約: カタストロフィック・フォーッティング(CF)は、ディープラーニングモデルにおいて、精度を著しく低下させる可能性がある。 CFは1989年にマクロスキーとコーエンによって初めて観測され、現在も活発な研究トピックである。 本稿では、勾配降下を学習アルゴリズムとして用いた最近のディープラーニングモデルにおいて、CFに取り組む最近の研究を調査する。
• 参考スコア（独自算出の注目度）: 0.2796197251957244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep Learning models have achieved remarkable performance in tasks such as image classification or generation, often surpassing human accuracy. However, they can struggle to learn new tasks and update their knowledge without access to previous data, leading to a significant loss of accuracy known as Catastrophic Forgetting (CF). This phenomenon was first observed by McCloskey and Cohen in 1989 and remains an active research topic. Incremental learning without forgetting is widely recognized as a crucial aspect in building better AI systems, as it allows models to adapt to new tasks without losing the ability to perform previously learned ones. This article surveys recent studies that tackle CF in modern Deep Learning models that use gradient descent as their learning algorithm. Although several solutions have been proposed, a definitive solution or consensus on assessing CF is yet to be established. The article provides a comprehensive review of recent solutions, proposes a taxonomy to organize them, and identifies research gaps in this area.
• Abstract（参考訳）: ディープラーニングモデルは、画像の分類や生成などのタスクにおいて、人間の精度を上回っている。 しかし、新しいタスクを学習し、以前のデータにアクセスせずに知識を更新するのに苦労し、破壊的忘れ(catastrophic forgetting, cf)として知られるかなりの精度を失うことになる。 この現象は1989年にマクロスキーとコーエンによって初めて観測され、現在も活発な研究トピックである。 モデルが学習済みのタスクを実行する能力を失うことなく新しいタスクに適応できるようにするため、忘れることなくインクリメンタル学習は、より良いAIシステムを構築する上で重要な側面として広く認識されている。 本稿では,勾配降下を学習アルゴリズムとして用いた現代深層学習モデルにおけるcfに取り組む最近の研究について述べる。 いくつかの解決策が提案されているが、cfの評価に関する決定的な解決策や合意はまだ確立されていない。 この記事は、最近のソリューションの総合的なレビューを提供し、それらを組織化するための分類を提案し、この分野における研究ギャップを特定します。

関連論文リスト

• Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
  継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。 本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2024-01-29T18:27:52Z)
• A Survey on Few-Shot Class-Incremental Learning [11.68962265057818]
  FSCIL(Few-shot class-incremental Learning)は、ディープニューラルネットワークが新しいタスクを学習する上で重要な課題である。 本稿では, FSCILに関する包括的調査を行う。 FSCILはコンピュータビジョンの様々な分野で大きな成果を上げている。
  論文  参考訳（メタデータ） (2023-04-17T10:15:08Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Recent Few-Shot Object Detection Algorithms: A Survey with Performance Comparison [54.357707168883024]
  Few-Shot Object Detection (FSOD)は、人間の学習能力を模倣する。 FSODは、学習した汎用オブジェクトの知識を共通のヘビーテールから新しいロングテールオブジェクトクラスにインテリジェントに転送する。 本稿では,問題定義,共通データセット,評価プロトコルなどを含むFSODの概要を紹介する。
  論文  参考訳（メタデータ） (2022-03-27T04:11:28Z)
• Deep Learning meets Liveness Detection: Recent Advancements and Challenges [3.2011056280404637]
  我々は,2017年以降の深部機能的FAS手法に関する文献を包括的に調査している。 本研究では,FASの時系列,進化過程,評価基準について概説する。
  論文  参考訳（メタデータ） (2021-12-29T19:24:58Z)
• Deep Long-Tailed Learning: A Survey [163.16874896812885]
  ディープ・ロングテール・ラーニング(Deep Long-tailed Learning)は、長いテールのクラス分布に追従する多数の画像から、優れたパフォーマンスのディープモデルをトレーニングすることを目的としている。 長い尾を持つクラス不均衡は、現実的な視覚認識タスクにおいて一般的な問題である。 本稿では,近年の長期学習の進歩を包括的に調査する。
  論文  参考訳（メタデータ） (2021-10-09T15:25:22Z)
• The Role of Bio-Inspired Modularity in General Learning [0.0]
  汎用知能の1つの目標は、事前学習を上書きすることなく、新しい情報を学ぶことである。 以前の知識をブートストラップすることで、新しいタスクの学習を早めることができる。 モジュール性は、破滅的な忘れとブートストラップの制約なしに学習に固執する、重み付けされた学習方法のソリューションを提供するかもしれない。
  論文  参考訳（メタデータ） (2021-09-23T18:45:34Z)
• Self-Supervised Learning Aided Class-Incremental Lifelong Learning [17.151579393716958]
  クラスインクリメンタルラーニング(Class-IL)における破滅的忘れの問題について検討する。 クラスILの訓練手順では、モデルが次のタスクについて知識を持っていないため、これまで学習してきたタスクに必要な特徴のみを抽出し、その情報は共同分類に不十分である。 本稿では,ラベルを必要とせずに効果的な表現を提供する自己教師型学習と,この問題を回避するためのクラスILを組み合わせることを提案する。
  論文  参考訳（メタデータ） (2020-06-10T15:15:27Z)
• Few-Shot Class-Incremental Learning [68.75462849428196]
  本稿では,FSCIL問題に焦点をあてる。 FSCIL は CNN モデルに対して,学習済みのクラスを忘れることなく,ラベル付きサンプルのごく少数から新たなクラスを漸進的に学習することを求めている。 我々は,異なるクラスで形成される特徴多様体のトポロジーを学習し,保存するニューラルネットワーク(NG)ネットワークを用いて,知識を表現する。
  論文  参考訳（メタデータ） (2020-04-23T03:38:33Z)
• Incremental Object Detection via Meta-Learning [77.55310507917012]
  本稿では,段階的タスク間の情報を最適に共有するように,モデル勾配を再形成するメタラーニング手法を提案する。 既存のメタ学習法と比較して,本手法はタスク非依存であり,オブジェクト検出のための高容量モデルに新たなクラスやスケールを段階的に追加することができる。
  論文  参考訳（メタデータ） (2020-03-17T13:40:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。