論文の概要: CORE: Mitigating Catastrophic Forgetting in Continual Learning through
Cognitive Replay
- arxiv url: http://arxiv.org/abs/2402.01348v1
- Date: Fri, 2 Feb 2024 12:04:44 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 15:39:56.053825
- Title: CORE: Mitigating Catastrophic Forgetting in Continual Learning through
Cognitive Replay
- Title(参考訳): コア:コグニティブリプレイによる連続学習における破滅的忘れの軽減
- Authors: Jianshu Zhang, Yankai Fu, Ziheng Peng, Dongyu Yao, Kun He
- Abstract要約: コグニティブ・リプレイ(CORE)は、人間の認知的レビュープロセスからインスピレーションを得ている。
COREはスプリットCIFAR10で平均37.95%の精度を達成し、最高のベースライン法を6.52%上回っている。
これにより、最上位のベースラインに比べて、最も貧弱なパフォーマンスタスクの精度が6.30%向上する。
- 参考スコア(独自算出の注目度): 15.201785535122385
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper introduces a novel perspective to significantly mitigate
catastrophic forgetting in continuous learning (CL), which emphasizes models'
capacity to preserve existing knowledge and assimilate new information. Current
replay-based methods treat every task and data sample equally and thus can not
fully exploit the potential of the replay buffer. In response, we propose
COgnitive REplay (CORE), which draws inspiration from human cognitive review
processes. CORE includes two key strategies: Adaptive Quantity Allocation and
Quality-Focused Data Selection. The former adaptively modulates the replay
buffer allocation for each task based on its forgetting rate, while the latter
guarantees the inclusion of representative data that best encapsulates the
characteristics of each task within the buffer. Our approach achieves an
average accuracy of 37.95% on split-CIFAR10, surpassing the best baseline
method by 6.52%. Additionally, it significantly enhances the accuracy of the
poorest-performing task by 6.30% compared to the top baseline.
- Abstract(参考訳): 本稿では,既存の知識を保存し,新たな情報を統一するモデルの能力に重点を置く,連続学習における破滅的な忘れ方(cl)を著しく緩和する新たな視点を提案する。
現在のリプレイベースメソッドは、すべてのタスクとデータサンプルを平等に扱うため、リプレイバッファの可能性を十分に活用できません。
これに対して,人間の認知的レビュープロセスからインスピレーションを得た認知的リプレイ(CORE)を提案する。
適応量割り当てと品質重視のデータ選択という2つの重要な戦略がある。
前者は、その忘れ率に基づいて各タスクのリプレイバッファ割り当てを適応的に調整し、後者は、各タスクの特徴をバッファ内にカプセル化する代表データを含むことを保証する。
スプリットCIFAR10の平均精度は37.95%で、最良基準法を6.52%上回っている。
さらに、最上位のベースラインに比べて、最も貧弱なパフォーマンスタスクの精度を6.30%向上させる。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Class-Wise Buffer Management for Incremental Object Detection: An
Effective Buffer Training Strategy [11.109975137910881]
クラスインクリメンタル学習は、既存のモデルに目に見えないクラスインスタンスを継続的に追加する際に発生する問題を解決することを目的としている。
オブジェクト検出に最適化されたリプレイバッファを生成する効果的なバッファトレーニング戦略(eBTS)を導入する。
論文 参考訳(メタデータ) (2023-12-14T17:10:09Z) - SLCA: Slow Learner with Classifier Alignment for Continual Learning on a
Pre-trained Model [73.80068155830708]
予備学習モデル(CLPM)を用いた連続学習のための広範囲な解析法を提案する。
Slow Learner with Alignment (SLCA) というシンプルなアプローチを提案する。
さまざまなシナリオにおいて、私たちの提案はCLPMの大幅な改善を提供します。
論文 参考訳(メタデータ) (2023-03-09T08:57:01Z) - Improving information retention in large scale online continual learning [99.73847522194549]
オンライン連続学習は、既存の知識を維持しながら、新しいデータに効率的に適応することを目的としている。
最近の研究は、リプレイバッファが無制限であっても、大規模なOCLでは情報保持が問題であり続けていることを示唆している。
非定常目標に対する最適化を改善するため,移動平均の手法群を提案する。
論文 参考訳(メタデータ) (2022-10-12T16:59:43Z) - Contextual Squeeze-and-Excitation for Efficient Few-Shot Image
Classification [57.36281142038042]
本稿では,事前学習したニューラルネットワークを新しいタスクで調整し,性能を大幅に向上させる,Contextual Squeeze-and-Excitation (CaSE) という適応ブロックを提案する。
また、メタトレーニングされたCaSEブロックと微調整ルーチンを利用して効率よく適応する、アッパーCaSEと呼ばれるコーディネートダイスに基づく新しいトレーニングプロトコルを提案する。
論文 参考訳(メタデータ) (2022-06-20T15:25:08Z) - GCR: Gradient Coreset Based Replay Buffer Selection For Continual
Learning [1.911678487931003]
調査対象のオフライン学習環境において,最先端の学習に比べて有意な増加(2%~4%)を示した。
また、オンライン/ストリーミングのCL設定にも効果的に移行し、既存のアプローチよりも最大5%向上しました。
論文 参考訳(メタデータ) (2021-11-18T18:01:57Z) - APS: Active Pretraining with Successor Features [96.24533716878055]
非エントロピーと後継指標であるHansenFastを再解釈して組み合わせることで、難解な相互情報を効率的に最適化できることを示す。
提案手法は,非エントロピーを用いて環境を探索し,探索したデータを効率的に活用して動作を学習する。
論文 参考訳(メタデータ) (2021-08-31T16:30:35Z) - Principal Gradient Direction and Confidence Reservoir Sampling for
Continual Learning [3.883460584034766]
タスクフリーオンライン連続学習は、非IDデータストリーム上の学習者の破滅的な忘れを緩和することを目的としている。
Experience Replay (ER) はSOTA連続学習法であり、他のリプレイ手法のバックボーンアルゴリズムとして広く使われている。
本稿では,ERを特殊な場合とみなすことのできる一般近位勾配フレームワークを提案する。
論文 参考訳(メタデータ) (2021-08-21T23:11:26Z) - Towards Reducing Labeling Cost in Deep Object Detection [61.010693873330446]
本稿では,検知器の不確実性と頑健性の両方を考慮した,アクティブラーニングのための統一的なフレームワークを提案する。
提案手法は, 確率分布のドリフトを抑えながら, 極めて確実な予測を擬似ラベル化することができる。
論文 参考訳(メタデータ) (2021-06-22T16:53:09Z) - Incremental Learning for End-to-End Automatic Speech Recognition [41.297106772785206]
エンドツーエンド自動音声認識(ASR)のための漸進的学習法を提案する。
本稿では, ASRモデルに対する新しい説明可能性に基づく知識蒸留を設計し, 応答に基づく知識蒸留と組み合わせて, 元のモデルの予測と予測の「理性」を維持する。
多段階連続訓練タスクの結果,提案手法は忘れを緩和する上で,既存の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-05-11T08:18:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。