論文の概要: Reducing Representation Drift in Online Continual Learning

• arxiv url: http://arxiv.org/abs/2104.05025v1
• Date: Sun, 11 Apr 2021 15:19:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-13 14:01:39.524525
• Title: Reducing Representation Drift in Online Continual Learning
• Title（参考訳）: オンライン連続学習における表現ドリフトの削減
• Authors: Lucas Caccia, Rahaf Aljundi, Tinne Tuytelaars, Joelle Pineau, Eugene Belilovsky
• Abstract要約: 私たちは、エージェントが制限されたメモリと計算で変化する分布から学ぶ必要があるオンライン連続学習パラダイムを研究します。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されることにより、事前に観測されたデータの表現の変化に焦点を合わせます。
• 参考スコア（独自算出の注目度）: 87.71558506591937
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We study the online continual learning paradigm, where agents must learn from a changing distribution with constrained memory and compute. Previous work often tackle catastrophic forgetting by overcoming changes in the space of model parameters. In this work we instead focus on the change in representations of previously observed data due to the introduction of previously unobserved class samples in the incoming data stream. We highlight the issues that arise in the practical setting where new classes must be distinguished between all previous classes. Starting from a popular approach, experience replay, we consider a metric learning based loss function, the triplet loss, which allows us to more explicitly constrain the behavior of representations. We hypothesize and empirically confirm that the selection of negatives used in the triplet loss plays a major role in the representation change, or drift, of previously observed data and can be greatly reduced by appropriate negative selection. Motivated by this we further introduce a simple adjustment to the standard cross entropy loss used in prior experience replay that achieves similar effect. Our approach greatly improves the performance of experience replay and obtains state-of-the-art on several existing benchmarks in online continual learning, while remaining efficient in both memory and compute.
• Abstract（参考訳）: エージェントは制約のあるメモリと計算で変化する分布から学習しなければならない。 以前の作業は、しばしばモデルパラメータの空間の変化を克服することで破滅的な忘れに取り組みます。 この作業では、入ってくるデータストリームに未観測のクラスサンプルが導入されるため、事前に観測されたデータの表現の変化に焦点を当てます。 我々は,すべてのクラス間で新しいクラスを区別しなければならない実践的な設定において生じる問題を強調する。 一般的なアプローチである経験再生から、メトリック学習に基づく損失関数(三重項損失)を考えると、表現の振る舞いをより明示的に制約することができる。 我々は,三重項損失における負の選択が先行観測データの表現変化,あるいはドリフトにおいて重要な役割を担い,適切な負の選択によって大幅に低減できると仮定し,実証的に確認する。 さらに,前回の体験リプレイで使用される標準的なクロスエントロピー損失に対する簡単な調整を導入することで,同様の効果が得られる。 提案手法は,経験の再現性を大幅に向上させ,オンライン連続学習におけるいくつかの既存ベンチマークの最先端性を得るとともに,メモリと計算の両面で効率を保っている。

関連論文リスト

• RanDumb: A Simple Approach that Questions the Efficacy of Continual Representation Learning [68.42776779425978]
  既存のオンライン学習深層ネットワークは、単純な事前定義されたランダム変換に比べて劣った表現を生成することを示す。 続いて、オンライン連続学習環境において、前例を保存せずに単純な線形分類器をトレーニングし、一度に1つのサンプルを処理します。 本研究は, 表現学習の大きな限界, 特に低経験, オンライン連続学習のシナリオについて明らかにした。
  論文  参考訳（メタデータ） (2024-02-13T22:07:29Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [100.7407460674153]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。 しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。 代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• A Study of Forward-Forward Algorithm for Self-Supervised Learning [65.268245109828]
  本研究では,自己指導型表現学習におけるフォワードとバックプロパゲーションのパフォーマンスについて検討する。 我々の主な発見は、フォワードフォワードアルゴリズムが(自己教師付き)トレーニング中にバックプロパゲーションに相容れないように機能するのに対し、転送性能は研究されたすべての設定において著しく遅れていることである。
  論文  参考訳（メタデータ） (2023-09-21T10:14:53Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Probing Representation Forgetting in Supervised and Unsupervised Continual Learning [14.462797749666992]
  破滅的な忘れ物は、以前にモデルで学んだ知識の急激な喪失と関係している。 表現を忘れることによって,モデル能力と損失関数が連続学習に与える影響について新たな知見が得られることを示す。
  論文  参考訳（メタデータ） (2022-03-24T23:06:08Z)
• New Insights on Reducing Abrupt Representation Change in Online Continual Learning [69.05515249097208]
  我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。 Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。 本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
  論文  参考訳（メタデータ） (2022-03-08T01:37:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。