論文の概要: New Insights on Reducing Abrupt Representation Change in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2203.03798v1
• Date: Tue, 8 Mar 2022 01:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:49:55.459174
• Title: New Insights on Reducing Abrupt Representation Change in Online Continual Learning
• Title（参考訳）: オンライン連続学習における急激な表現変化の低減に関する新しい視点
• Authors: Lucas Caccia, Rahaf Aljundi, Nader Asadi, Tinne Tuytelaars, Joelle Pineau, Eugene Belilovsky
• Abstract要約: 我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
• 参考スコア（独自算出の注目度）: 69.05515249097208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Experience Replay (ER), where a small subset of past data is stored and replayed alongside new data, has emerged as a simple and effective learning strategy. In this work, we focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. We shed new light on this question by showing that applying ER causes the newly added classes' representations to overlap significantly with the previous classes, leading to highly disruptive parameter updates. Based on this empirical analysis, we propose a new method which mitigates this issue by shielding the learned representations from drastic adaptation to accommodate new classes. We show that using an asymmetric update rule pushes new classes to adapt to the older ones (rather than the reverse), which is more effective especially at task boundaries, where much of the forgetting typically occurs. Empirical results show significant gains over strong baselines on standard continual learning benchmarks
• Abstract（参考訳）: オンライン連続学習パラダイムでは、エージェントは記憶と計算の制約を尊重しながら、変化する分布から学ぶ必要がある。 過去のデータの小さなサブセットを新しいデータと一緒に保存して再生するexperience replay(er)が、シンプルで効果的な学習戦略として登場した。 本研究では,以前に観測されていないクラスが入ってくるデータストリームに現れる際に発生する観測データの表現の変化に注目し,新しいクラスを以前のクラスと区別しなければならない。 我々は、ERを適用することで、新たに追加されたクラスの表現が以前のクラスと大幅に重複し、非常に破壊的なパラメータ更新をもたらすことを示すことで、この問題に新たな光を当てた。 この経験的分析に基づいて,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。 非対称な更新規則を用いることで、新しいクラスを(逆ではなく)古いクラスに適応させることができ、特にタスク境界において、その多くが通常発生する場合、より効果的であることを示す。 標準連続学習ベンチマークにおける強力なベースラインよりも有意な向上を示す実験結果

関連論文リスト

• Strike a Balance in Continual Panoptic Segmentation [60.26892488010291]
  既存の知識の安定性と新しい情報への適応性のバランスをとるため,過去クラスのバックトレース蒸留を導入する。 また,リプレイ用サンプルセットのクラス分布と過去のトレーニングデータとの整合性を考慮したクラス比記憶戦略を導入する。 連続パノプティカルバランス(BalConpas)と呼ばれる新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-07-23T09:58:20Z)
• Random Representations Outperform Online Continually Learned Representations [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 我々の手法はRanDumbと呼ばれ、あらゆるオンライン連続学習ベンチマークにおいて、最先端の学習表現を著しく上回っている。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
  ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。 古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。 この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:04:51Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental Learning [9.530976792843495]
  データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。 ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-03-22T22:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。