論文の概要: New Insights on Reducing Abrupt Representation Change in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2203.03798v1
• Date: Tue, 8 Mar 2022 01:37:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-09 13:49:55.459174
• Title: New Insights on Reducing Abrupt Representation Change in Online Continual Learning
• Title（参考訳）: オンライン連続学習における急激な表現変化の低減に関する新しい視点
• Authors: Lucas Caccia, Rahaf Aljundi, Nader Asadi, Tinne Tuytelaars, Joelle Pineau, Eugene Belilovsky
• Abstract要約: 我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
• 参考スコア（独自算出の注目度）: 69.05515249097208
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the online continual learning paradigm, agents must learn from a changing distribution while respecting memory and compute constraints. Experience Replay (ER), where a small subset of past data is stored and replayed alongside new data, has emerged as a simple and effective learning strategy. In this work, we focus on the change in representations of observed data that arises when previously unobserved classes appear in the incoming data stream, and new classes must be distinguished from previous ones. We shed new light on this question by showing that applying ER causes the newly added classes' representations to overlap significantly with the previous classes, leading to highly disruptive parameter updates. Based on this empirical analysis, we propose a new method which mitigates this issue by shielding the learned representations from drastic adaptation to accommodate new classes. We show that using an asymmetric update rule pushes new classes to adapt to the older ones (rather than the reverse), which is more effective especially at task boundaries, where much of the forgetting typically occurs. Empirical results show significant gains over strong baselines on standard continual learning benchmarks
• Abstract（参考訳）: オンライン連続学習パラダイムでは、エージェントは記憶と計算の制約を尊重しながら、変化する分布から学ぶ必要がある。 過去のデータの小さなサブセットを新しいデータと一緒に保存して再生するexperience replay(er)が、シンプルで効果的な学習戦略として登場した。 本研究では,以前に観測されていないクラスが入ってくるデータストリームに現れる際に発生する観測データの表現の変化に注目し,新しいクラスを以前のクラスと区別しなければならない。 我々は、ERを適用することで、新たに追加されたクラスの表現が以前のクラスと大幅に重複し、非常に破壊的なパラメータ更新をもたらすことを示すことで、この問題に新たな光を当てた。 この経験的分析に基づいて,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。 非対称な更新規則を用いることで、新しいクラスを(逆ではなく)古いクラスに適応させることができ、特にタスク境界において、その多くが通常発生する場合、より効果的であることを示す。 標準連続学習ベンチマークにおける強力なベースラインよりも有意な向上を示す実験結果

関連論文リスト

• Mitigating Catastrophic Forgetting in Task-Incremental Continual Learning with Adaptive Classification Criterion [50.03041373044267]
  本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。 実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
  論文  参考訳（メタデータ） (2023-05-20T19:22:40Z)
• A Memory Transformer Network for Incremental Learning [64.0410375349852]
  本研究では,モデルが学習する時間とともに,新しいデータクラスが観察される学習環境であるクラスインクリメンタルラーニングについて検討する。 素直な問題定式化にもかかわらず、クラス増分学習への分類モデルの素直な適用は、これまで見られたクラスの「破滅的な忘れ込み」をもたらす。 これは、過去のデータのサブセットをメモリバンクに保存し、将来のタスクをトレーニングする際の忘れの防止にそれを活用することで、破滅的な忘れの問題を克服するものだ。
  論文  参考訳（メタデータ） (2022-10-10T08:27:28Z)
• Augmented Bilinear Network for Incremental Multi-Stock Time-Series Classification [83.23129279407271]
  本稿では,有価証券のセットで事前学習したニューラルネットワークで利用可能な知識を効率的に保持する手法を提案する。 本手法では,既存の接続を固定することにより,事前学習したニューラルネットワークに符号化された事前知識を維持する。 この知識は、新しいデータを用いて最適化された一連の拡張接続によって、新しい証券に対して調整される。
  論文  参考訳（メタデータ） (2022-07-23T18:54:10Z)
• Multi-Granularity Regularized Re-Balancing for Class Incremental Learning [32.52884416761171]
  ディープラーニングモデルは、新しいタスクを学ぶときに破滅的な忘れに苦しむ。 古いクラスと新しいクラスのデータの不均衡は、モデルのパフォーマンスが低下する鍵となる問題である。 この問題を解決するために,仮定に依存しないマルチグラニュラリティ正規化再バランシング法を提案する。
  論文  参考訳（メタデータ） (2022-06-30T11:04:51Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• R-DFCIL: Relation-Guided Representation Learning for Data-Free Class Incremental Learning [64.7996065569457]
  クラスインクリメンタルラーニング(Class-Incremental Learning, CIL)は、新しい知識を学ぶ際に、破滅的な忘れ方に苦しむ。 近年のDFCIL研究は、従来のクラスのデータ合成のためのモデル反転のような手法を導入している。 本稿では、R-DFCILと呼ばれるDFCILのための関係誘導型表現学習(RRL)を提案する。
  論文  参考訳（メタデータ） (2022-03-24T14:54:15Z)
• Representation Memorization for Fast Learning New Knowledge without Forgetting [36.55736909586313]
  新しい知識を素早く学習する能力は、人間レベルの知性への大きな一歩だ。 新しいクラスやデータ配布を迅速かつ漸進的に学ぶ必要があるシナリオを考えます。 本稿では,2つの課題に対処するため,メモリベースのヘビアン適応を提案する。
  論文  参考訳（メタデータ） (2021-08-28T07:54:53Z)
• Reducing Representation Drift in Online Continual Learning [87.71558506591937]
  私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
  論文  参考訳（メタデータ） (2021-04-11T15:19:30Z)
• ZS-IL: Looking Back on Learned ExperiencesFor Zero-Shot Incremental Learning [9.530976792843495]
  データストリームで新しいクラスが発生するたびに過去の体験を提供するオンコール転送セットを提案します。 ZS-ILは、よく知られたデータセット(CIFAR-10、Tiny-ImageNet)において、Task-ILとClass-ILの両方で大幅にパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2021-03-22T22:43:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。