論文の概要: Consistency is the key to further mitigating catastrophic forgetting in continual learning

• arxiv url: http://arxiv.org/abs/2207.04998v1
• Date: Mon, 11 Jul 2022 16:44:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-12 13:04:33.880899
• Title: Consistency is the key to further mitigating catastrophic forgetting in continual learning
• Title（参考訳）: 連続学習における破滅的忘れを和らげる鍵は一貫性である
• Authors: Prashant Bhat, Bahram Zonooz, Elahe Arani
• Abstract要約: Experience Replay (ER) は低バッファ状態と長いタスクシーケンスではうまく動作しない。 ソフトターゲットの予測における一貫性は、ERが以前のタスクに関連する情報を保存するのに役立つ。 自己教師付きプレテキストタスクとして整合性正規化をキャストすることを提案する。
• 参考スコア（独自算出の注目度）: 14.674494335647841
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Deep neural networks struggle to continually learn multiple sequential tasks due to catastrophic forgetting of previously learned tasks. Rehearsal-based methods which explicitly store previous task samples in the buffer and interleave them with the current task samples have proven to be the most effective in mitigating forgetting. However, Experience Replay (ER) does not perform well under low-buffer regimes and longer task sequences as its performance is commensurate with the buffer size. Consistency in predictions of soft-targets can assist ER in preserving information pertaining to previous tasks better as soft-targets capture the rich similarity structure of the data. Therefore, we examine the role of consistency regularization in ER framework under various continual learning scenarios. We also propose to cast consistency regularization as a self-supervised pretext task thereby enabling the use of a wide variety of self-supervised learning methods as regularizers. While simultaneously enhancing model calibration and robustness to natural corruptions, regularizing consistency in predictions results in lesser forgetting across all continual learning scenarios. Among the different families of regularizers, we find that stricter consistency constraints preserve previous task information in ER better.
• Abstract（参考訳）: ディープニューラルネットワークは、以前に学習したタスクの破滅的な忘れのために、複数のシーケンシャルなタスクを継続的に学習する。 従来のタスクサンプルをバッファに明示的に格納し、それらを現在のタスクサンプルとインターリーブするリハーサルベースの手法は、忘れを緩和するのに最も効果的であることが証明されている。 しかし、経験リプレイ(er)はバッファサイズで性能が保証されるため、低バッファレジームと長いタスクシーケンスではうまく動作しない。 ソフトターゲットの予測の一貫性は、データの豊富な類似性構造をソフトターゲットが捉えるほど、以前のタスクに関連する情報を保存するerに役立つ。 そこで本研究では,ERフレームワークにおける整合性正規化の役割について検討する。 また,自己教師付きプリテキストタスクとして一貫性の正規化をキャストすることで,多種多様な自己教師付き学習手法を正規化として利用することを提案する。 モデルキャリブレーションと自然の腐敗に対する堅牢性を同時に向上させる一方で、予測の一貫性を規則化すると、継続的な学習シナリオをすべて忘れてしまう。 正規化の異なるファミリーの中で、厳密な一貫性の制約はERにおける以前のタスク情報をよりよく保存する。

関連論文リスト

• Investigating the Interplay of Prioritized Replay and Generalization [23.248982121562985]
  本稿では,TD誤差に比例してサンプリングを行う優先経験再生(PER)について検討する。 PERは動的プログラミングにおける優先順位付けされたスイーピングの成功にインスパイアされている。
  論文  参考訳（メタデータ） (2024-07-12T21:56:24Z)
• Reshaping the Online Data Buffering and Organizing Mechanism for Continual Test-Time Adaptation [49.53202761595912]
  継続的なテスト時間適応は、訓練済みのソースモデルを適用して、教師なしのターゲットドメインを継続的に変更する。 我々は、オンライン環境、教師なしの自然、エラー蓄積や破滅的な忘れのリスクなど、このタスクの課題を分析する。 教師なしシングルパスデータストリームから重要サンプルを高い確実性で識別・集約する不確実性を考慮したバッファリング手法を提案する。
  論文  参考訳（メタデータ） (2024-07-12T15:48:40Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• Selective Learning: Towards Robust Calibration with Dynamic Regularization [79.92633587914659]
  ディープラーニングにおけるミススキャリブレーションとは、予測された信頼とパフォーマンスの間には相違がある、という意味である。 トレーニング中に何を学ぶべきかを学ぶことを目的とした動的正規化(DReg)を導入し、信頼度調整のトレードオフを回避する。
  論文  参考訳（メタデータ） (2024-02-13T11:25:20Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Replay-enhanced Continual Reinforcement Learning [37.34722105058351]
  本稿では,新しいタスクにおける既存のリプレイ方式の可塑性を大幅に向上させるリプレイ拡張手法であるRECALLを紹介する。 Continual Worldベンチマークの実験では、RECALLは純粋に完全なメモリリプレイよりもはるかに優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2023-11-20T06:21:52Z)
• Minimax Forward and Backward Learning of Evolving Tasks with Performance Guarantees [6.008132390640294]
  タスクの増え続けるシーケンスの漸進的な学習は、正確な分類を可能にすることを約束する。 本稿では,前向き学習と後向き学習を効果的に活用するインクリメンタルミニマックスリスク分類器(IMRC)を提案する。 IMRCは、特にサンプルサイズを減らすために、大幅な性能改善をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-10-24T16:21:41Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Self-paced Weight Consolidation for Continual Learning [39.27729549041708]
  連続学習アルゴリズムは、逐次的なタスク学習設定における破滅的な忘れ込みを防ぐのに人気がある。 継続学習を実現するために,自己ペーストウェイト統合(spWC)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-20T13:07:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。