論文の概要: Brain-inspired feature exaggeration in generative replay for continual learning

• arxiv url: http://arxiv.org/abs/2110.15056v1
• Date: Tue, 26 Oct 2021 10:49:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-31 13:10:02.160932
• Title: Brain-inspired feature exaggeration in generative replay for continual learning
• Title（参考訳）: 連続学習のための生成的リプレイにおける脳誘発的特徴誇張
• Authors: Jack Millichamp, Xi Chen
• Abstract要約: 新しいクラスを学ぶとき、以前に学んだクラスの内部表現はしばしば上書きされる。 神経科学の最近の進歩は、脳が自身の記憶干渉を避ける方法を発見した。 本稿では,クラス増分学習データセットCIFAR100の早期クラス分類における最先端性能について述べる。
• 参考スコア（独自算出の注目度）: 4.682734815593623
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The catastrophic forgetting of previously learnt classes is one of the main obstacles to the successful development of a reliable and accurate generative continual learning model. When learning new classes, the internal representation of previously learnt ones can often be overwritten, resulting in the model's "memory" of earlier classes being lost over time. Recent developments in neuroscience have uncovered a method through which the brain avoids its own form of memory interference. Applying a targeted exaggeration of the differences between features of similar, yet competing memories, the brain can more easily distinguish and recall them. In this paper, the application of such exaggeration, via the repulsion of replayed samples belonging to competing classes, is explored. Through the development of a 'reconstruction repulsion' loss, this paper presents a new state-of-the-art performance on the classification of early classes in the class-incremental learning dataset CIFAR100.
• Abstract（参考訳）: これまでに学んだクラスの破滅的な忘れは、信頼性があり正確な生成的連続学習モデルの開発に成功するための大きな障害の1つである。 新しいクラスを学習する場合、事前に学習したクラスの内部表現はしばしば上書きされ、結果としてモデルの以前のクラスの"メモリ"は時間とともに失われる。 近年の神経科学の発展により、脳が自身の記憶干渉を回避できる方法が発見されている。 類似しているが競合する記憶の特徴の違いを的確に誇張することで、脳はそれらをより容易に識別し思い出すことができる。 本稿では,このような誇張の応用を,競合するクラスに属するリプレイされたサンプルの反発を通じて検討する。 そこで,本稿では,組込み学習データセットcifar100における初期クラスの分類に関する新たな最先端性能について述べる。

関連論文リスト

• Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
  継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。 本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。 この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
  論文  参考訳（メタデータ） (2023-10-06T15:54:12Z)
• Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning [27.117753965919025]
  クラスインクリメンタルラーニング(CIL)は、トレーニングされたモデルを新しいクラスのサンプルでインクリメンタルに更新することを目的としている。 メモリリプレイ CIL は、メモリに格納された少数の古いサンプルのクラスをリプレイすることで、古い知識を集約する。 理論解析により, 過去の知識の破壊は, 現段階からのサンプルと記憶に蓄えられたサンプルの寄与のバランスをとることで効果的に軽減できることが示唆された。
  論文  参考訳（メタデータ） (2023-08-03T11:33:50Z)
• Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism of Language Models [49.39276272693035]
  大規模事前学習型言語モデルは、顕著な記憶能力を示している。 プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。 1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-16T03:50:38Z)
• Detachedly Learn a Classifier for Class-Incremental Learning [11.865788374587734]
  本稿では,バニラ体験リプレイ(ER)の失敗は,従来のタスクの不要な再学習と,現在のタスクと以前のタスクとを区別する能力の欠如が原因であることを示す。 本稿では,新しいリプレイ戦略・タスク認識体験リプレイを提案する。 実験の結果,本手法は最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-02-23T01:35:44Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
  忘れる方法は、継続的な学習に対処しなければならない問題である。 本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-26T18:06:39Z)
• Continual Learning with Bayesian Model based on a Fixed Pre-trained Feature Extractor [55.9023096444383]
  現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。 人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-04-28T08:41:51Z)
• Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay [67.50637511633212]
  生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。 適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。 この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
  論文  参考訳（メタデータ） (2021-12-09T07:11:14Z)
• Discriminative Distillation to Reduce Class Confusion in Continual Learning [57.715862676788156]
  クラス混乱は、連続学習における分類性能の低下に寄与する。 本稿では,クラス間の識別的特徴を適切に学習する上で,識別的蒸留戦略を提案する。
  論文  参考訳（メタデータ） (2021-08-11T12:46:43Z)
• Preserving Earlier Knowledge in Continual Learning with the Help of All Previous Feature Extractors [63.21036904487014]
  時間とともに新しい知識の継続的な学習は、インテリジェントシステムがより多くのオブジェクトのクラスを認識するのに望ましい能力の1つである。 これまでに学んだすべての特徴抽出器をインテリジェントモデルに組み込むことで、シンプルで効果的な融合メカニズムを提案します。 複数の分類タスクの実験により,提案手法は従来の知識の忘れを効果的に減らし,最先端の継続的学習性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2021-04-28T07:49:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。