論文の概要: Consistency is the key to further mitigating catastrophic forgetting in
continual learning
- arxiv url: http://arxiv.org/abs/2207.04998v1
- Date: Mon, 11 Jul 2022 16:44:49 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-12 13:04:33.880899
- Title: Consistency is the key to further mitigating catastrophic forgetting in
continual learning
- Title(参考訳): 連続学習における破滅的忘れを和らげる鍵は一貫性である
- Authors: Prashant Bhat, Bahram Zonooz, Elahe Arani
- Abstract要約: Experience Replay (ER) は低バッファ状態と長いタスクシーケンスではうまく動作しない。
ソフトターゲットの予測における一貫性は、ERが以前のタスクに関連する情報を保存するのに役立つ。
自己教師付きプレテキストタスクとして整合性正規化をキャストすることを提案する。
- 参考スコア(独自算出の注目度): 14.674494335647841
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Deep neural networks struggle to continually learn multiple sequential tasks
due to catastrophic forgetting of previously learned tasks. Rehearsal-based
methods which explicitly store previous task samples in the buffer and
interleave them with the current task samples have proven to be the most
effective in mitigating forgetting. However, Experience Replay (ER) does not
perform well under low-buffer regimes and longer task sequences as its
performance is commensurate with the buffer size. Consistency in predictions of
soft-targets can assist ER in preserving information pertaining to previous
tasks better as soft-targets capture the rich similarity structure of the data.
Therefore, we examine the role of consistency regularization in ER framework
under various continual learning scenarios. We also propose to cast consistency
regularization as a self-supervised pretext task thereby enabling the use of a
wide variety of self-supervised learning methods as regularizers. While
simultaneously enhancing model calibration and robustness to natural
corruptions, regularizing consistency in predictions results in lesser
forgetting across all continual learning scenarios. Among the different
families of regularizers, we find that stricter consistency constraints
preserve previous task information in ER better.
- Abstract(参考訳): ディープニューラルネットワークは、以前に学習したタスクの破滅的な忘れのために、複数のシーケンシャルなタスクを継続的に学習する。
従来のタスクサンプルをバッファに明示的に格納し、それらを現在のタスクサンプルとインターリーブするリハーサルベースの手法は、忘れを緩和するのに最も効果的であることが証明されている。
しかし、経験リプレイ(er)はバッファサイズで性能が保証されるため、低バッファレジームと長いタスクシーケンスではうまく動作しない。
ソフトターゲットの予測の一貫性は、データの豊富な類似性構造をソフトターゲットが捉えるほど、以前のタスクに関連する情報を保存するerに役立つ。
そこで本研究では,ERフレームワークにおける整合性正規化の役割について検討する。
また,自己教師付きプリテキストタスクとして一貫性の正規化をキャストすることで,多種多様な自己教師付き学習手法を正規化として利用することを提案する。
モデルキャリブレーションと自然の腐敗に対する堅牢性を同時に向上させる一方で、予測の一貫性を規則化すると、継続的な学習シナリオをすべて忘れてしまう。
正規化の異なるファミリーの中で、厳密な一貫性の制約はERにおける以前のタスク情報をよりよく保存する。
関連論文リスト
- Selective Learning: Towards Robust Calibration with Dynamic
Regularization [93.2503677723367]
ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。
トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
論文 参考訳(メタデータ) (2024-02-13T11:25:20Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Replay-enhanced Continual Reinforcement Learning [37.34722105058351]
本稿では,新しいタスクにおける既存のリプレイ方式の可塑性を大幅に向上させるリプレイ拡張手法であるRECALLを紹介する。
Continual Worldベンチマークの実験では、RECALLは純粋に完全なメモリリプレイよりもはるかに優れたパフォーマンスを示している。
論文 参考訳(メタデータ) (2023-11-20T06:21:52Z) - Minimax Forward and Backward Learning of Evolving Tasks with Performance
Guarantees [6.008132390640294]
タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。
本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。
IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
論文 参考訳(メタデータ) (2023-10-24T16:21:41Z) - Class-Incremental Learning Using Generative Experience Replay Based on
Time-aware Regularization [24.143811670210546]
生成体験 リプレイは、忘れずに蓄積的に新しいタスクを学ぶという課題に対処する。
生成的再生に用いる3つの学習目標語を微調整するための時間認識正規化手法を提案する。
実験結果から,本手法は脳に触発された連続学習者の限界を,そのような厳密な条件下で押し上げることが示唆された。
論文 参考訳(メタデータ) (2023-10-05T21:07:45Z) - Towards Robust Continual Learning with Bayesian Adaptive Moment
Regularization [57.71118589124002]
継続的な学習は破滅的な忘れ込みという課題を克服しようと試み、そこでは新しいタスクを解くための学習が、モデルが以前に学習した情報を忘れる原因となる。
本稿では,パラメータ成長の制約を緩和し,破滅的な忘れ込みを抑える新しい事前手法を提案する。
以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
論文 参考訳(メタデータ) (2023-09-15T17:10:51Z) - Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。
継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
論文 参考訳(メタデータ) (2023-07-20T13:07:41Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳(メタデータ) (2023-05-20T19:22:40Z) - Task Agnostic Representation Consolidation: a Self-supervised based
Continual Learning Approach [14.674494335647841]
本稿では,タスク非依存およびタスク特化学習に介入するCLのための2段階学習パラダイムを提案する。
我々のトレーニングパラダイムは、メモリや正規化に基づくアプローチに簡単に追加できることを示します。
論文 参考訳(メタデータ) (2022-07-13T15:16:51Z) - Unsupervised Transfer Learning for Spatiotemporal Predictive Networks [90.67309545798224]
我々は、教師なし学習されたモデルの動物園から別のネットワークへ知識を伝達する方法を研究する。
私たちのモチベーションは、モデルは異なるソースからの複雑なダイナミクスを理解することが期待されていることです。
提案手法は,時間的予測のための3つのベンチマークで大幅に改善され,重要度が低いベンチマークであっても,ターゲットのメリットが得られた。
論文 参考訳(メタデータ) (2020-09-24T15:40:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。