論文の概要: Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning

• arxiv url: http://arxiv.org/abs/2308.01698v1
• Date: Thu, 3 Aug 2023 11:33:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-04 14:16:39.409317
• Title: Balanced Destruction-Reconstruction Dynamics for Memory-replay Class Incremental Learning
• Title（参考訳）: メモリリプレイクラスインクリメンタル学習のためのバランスのとれた破壊-再構築ダイナミクス
• Authors: Yuhang Zhou, Jiangchao Yao, Feng Hong, Ya Zhang, and Yanfeng Wang
• Abstract要約: クラスインクリメンタルラーニング(CIL)は、トレーニングされたモデルを新しいクラスのサンプルでインクリメンタルに更新することを目的としている。 メモリリプレイ CIL は、メモリに格納された少数の古いサンプルのクラスをリプレイすることで、古い知識を集約する。 理論解析により, 過去の知識の破壊は, 現段階からのサンプルと記憶に蓄えられたサンプルの寄与のバランスをとることで効果的に軽減できることが示唆された。
• 参考スコア（独自算出の注目度）: 27.117753965919025
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Class incremental learning (CIL) aims to incrementally update a trained model with the new classes of samples (plasticity) while retaining previously learned ability (stability). To address the most challenging issue in this goal, i.e., catastrophic forgetting, the mainstream paradigm is memory-replay CIL, which consolidates old knowledge by replaying a small number of old classes of samples saved in the memory. Despite effectiveness, the inherent destruction-reconstruction dynamics in memory-replay CIL are an intrinsic limitation: if the old knowledge is severely destructed, it will be quite hard to reconstruct the lossless counterpart. Our theoretical analysis shows that the destruction of old knowledge can be effectively alleviated by balancing the contribution of samples from the current phase and those saved in the memory. Motivated by this theoretical finding, we propose a novel Balanced Destruction-Reconstruction module (BDR) for memory-replay CIL, which can achieve better knowledge reconstruction by reducing the degree of maximal destruction of old knowledge. Specifically, to achieve a better balance between old knowledge and new classes, the proposed BDR module takes into account two factors: the variance in training status across different classes and the quantity imbalance of samples from the current phase and memory. By dynamically manipulating the gradient during training based on these factors, BDR can effectively alleviate knowledge destruction and improve knowledge reconstruction. Extensive experiments on a range of CIL benchmarks have shown that as a lightweight plug-and-play module, BDR can significantly improve the performance of existing state-of-the-art methods with good generalization.
• Abstract（参考訳）: クラスインクリメンタル学習(cil)は、トレーニングされたモデルを新しいクラス(可塑性)で段階的に更新することを目的としている。 このゴールの最も困難な問題、すなわち破滅的な忘れ事に対処するために、主要なパラダイムは、メモリに保存された少数の古いサンプルクラスをリプレイすることで、古い知識を集約するメモリ再生 CIL である。 有効性にもかかわらず、メモリリプレイ CIL の固有の破壊・再構成のダイナミクスは本質的な制限であり、もし古い知識がひどく破壊されているなら、損失のない知識を再構築することは極めて困難である。 理論解析により, 過去の知識の破壊は, 現在の段階からのサンプルと記憶に蓄えられたサンプルの寄与のバランスをとることで効果的に軽減できることが示された。 この理論的な発見により,従来の知識の最大破壊度を低減し,より優れた知識再構築を実現するための,メモリ再生型CILのための新しいBDR(Balanced Destruction-Reconstruction Module)を提案する。 具体的には、古い知識と新しいクラスとのバランスを改善するために、提案したBDRモジュールは、異なるクラス間のトレーニングステータスのばらつきと、現在のフェーズとメモリからのサンプルの量不均衡の2つの要因を考慮に入れている。 これらの要因に基づいて学習中の勾配を動的に操作することにより、BDRは知識破壊を効果的に軽減し、知識再構築を改善することができる。 CILベンチマークの広範な実験により、BDRは軽量なプラグイン・アンド・プレイモジュールとして、既存の最先端手法の性能を大幅に向上し、優れた一般化を実現できることが示されている。

関連論文リスト

• Stable Hadamard Memory: Revitalizing Memory-Augmented Agents for Reinforcement Learning [64.93848182403116]
  現在のディープラーニングメモリモデルは、部分的に観察可能で長期にわたる強化学習環境で苦労している。 本稿では,強化学習エージェントのための新しい記憶モデルであるStable Hadamard Memoryを紹介する。 我々の手法は、部分的に観測可能なベンチマークに挑戦する上で、最先端のメモリベースの手法よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-10-14T03:50:17Z)
• Fine-Grained Gradient Restriction: A Simple Approach for Mitigating Catastrophic Forgetting [41.891312602770746]
  Gradient Episodic Memory (GEM) は、過去のトレーニングサンプルのサブセットを利用して、モデルのパラメータの更新方向を制限することでバランスをとる。 メモリの強度は、主にGEMの能力を一般化し、それによってより有利なトレードオフをもたらすため、有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-01T17:03:56Z)
• Balanced Residual Distillation Learning for 3D Point Cloud Class-Incremental Semantic Segmentation [13.627816749091727]
  CIL(Class-incremental Learning)は,新たなクラスを継続的に追加して学習することで,情報流入の処理に成功したことにより成長する。 そこで本研究では,CILの性能バーを高いレベルに押し上げるために,新しい残圧蒸留フレームワーク(BRD-CIL)を提案する。
  論文  参考訳（メタデータ） (2024-08-02T16:09:06Z)
• TEAL: New Selection Strategy for Small Buffers in Experience Replay Class Incremental Learning [7.627299398469962]
  TEALは,メモリを例に示す新しい手法である。 TEAL は複数の画像認識ベンチマークにおいて,SOTA 法 XDER と ER と ER-ACE の平均精度を向上することを示す。
  論文  参考訳（メタデータ） (2024-06-30T12:09:08Z)
• Few-Shot Class-Incremental Learning with Prior Knowledge [94.95569068211195]
  本稿では,事前学習モデルの一般化能力を高めるために,先行知識を用いた学習(LwPK)を提案する。 実験結果から,LwPKは破滅的忘れ込みに対するモデルレジリエンスを効果的に向上させることが示された。
  論文  参考訳（メタデータ） (2024-02-02T08:05:35Z)
• Class-Incremental Learning: A Survey [84.30083092434938]
  CIL(Class-Incremental Learning)は、学習者が新しいクラスの知識を段階的に取り入れることを可能にする。 CILは、前者の特徴を壊滅的に忘れる傾向にあり、その性能は劇的に低下する。 ベンチマーク画像分類タスクにおける17の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
  論文  参考訳（メタデータ） (2023-02-07T17:59:05Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Decoupling Knowledge from Memorization: Retrieval-augmented Prompt Learning [113.58691755215663]
  一般化と記憶のバランスをとるためにRetroPromptを開発した。 バニラプロンプト学習とは対照的に、RetroPromptはトレーニングインスタンスからオープンブックナレッジストアを構築する。 大規模な実験により、RetroPromptは、数ショットとゼロショットの両方で、より良いパフォーマンスを得ることができることが示されている。
  論文  参考訳（メタデータ） (2022-05-29T16:07:30Z)
• Brain-inspired feature exaggeration in generative replay for continual learning [4.682734815593623]
  新しいクラスを学ぶとき、以前に学んだクラスの内部表現はしばしば上書きされる。 神経科学の最近の進歩は、脳が自身の記憶干渉を避ける方法を発見した。 本稿では,クラス増分学習データセットCIFAR100の早期クラス分類における最先端性能について述べる。
  論文  参考訳（メタデータ） (2021-10-26T10:49:02Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。