論文の概要: Class-Incremental Experience Replay for Continual Learning under Concept
Drift
- arxiv url: http://arxiv.org/abs/2104.11861v1
- Date: Sat, 24 Apr 2021 02:36:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-27 14:56:39.803743
- Title: Class-Incremental Experience Replay for Continual Learning under Concept
Drift
- Title(参考訳): 概念ドリフト下の継続学習のためのクラスインクリメンタル体験リプレイ
- Authors: {\L}ukasz Korycki, Bartosz Krawczyk
- Abstract要約: 機械学習を扱う研究の2つの主な分野は、継続的学習とデータストリームマイニングである。
両タスクに対応可能な,新たな継続的学習手法を提案する。
- 参考スコア(独自算出の注目度): 6.436899373275926
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Modern machine learning systems need to be able to cope with constantly
arriving and changing data. Two main areas of research dealing with such
scenarios are continual learning and data stream mining. Continual learning
focuses on accumulating knowledge and avoiding forgetting, assuming information
once learned should be stored. Data stream mining focuses on adaptation to
concept drift and discarding outdated information, assuming that only the most
recent data is relevant. While these two areas are mainly being developed in
separation, they offer complementary views on the problem of learning from
dynamic data. There is a need for unifying them, by offering architectures
capable of both learning and storing new information, as well as revisiting and
adapting to changes in previously seen concepts. We propose a novel continual
learning approach that can handle both tasks. Our experience replay method is
fueled by a centroid-driven memory storing diverse instances of incrementally
arriving classes. This is enhanced with a reactive subspace buffer that tracks
concept drift occurrences in previously seen classes and adapts clusters
accordingly. The proposed architecture is thus capable of both remembering
valid and forgetting outdated information, offering a holistic framework for
continual learning under concept drift.
- Abstract(参考訳): 現代の機械学習システムは、データの頻繁な到着と変更に対応できる必要がある。
このようなシナリオを扱う2つの研究分野は、継続的学習とデータストリームマイニングである。
継続的学習は、知識を蓄積し、学習した情報を保存すべきと仮定して、忘れることを避けることに焦点を当てている。
データストリームマイニングは、最新のデータだけが関連すると仮定して、概念ドリフトへの適応と古い情報の破棄に焦点を当てている。
これら2つの領域は主に分離して開発されているが、動的データから学習する問題の相補的な見解を提供する。
新たな情報を学習し、保存し、また、以前見た概念の変更を見直し、適応できるアーキテクチャを提供することで、それらを統一する必要性がある。
両タスクを処理可能な新しい連続学習手法を提案する。
experience replayメソッドは、インクリメンタルに到着するクラスの多様なインスタンスを格納するcentroid駆動のメモリによって実現されます。
これはリアクティブサブスペースバッファによって強化され、前述のクラスでの概念ドリフトの発生を追跡し、それに応じてクラスタに適応する。
提案したアーキテクチャは、有効性と古い情報を忘れることの両方を記憶することができ、概念ドリフト下での連続学習のための総合的なフレームワークを提供する。
関連論文リスト
- COOLer: Class-Incremental Learning for Appearance-Based Multiple Object
Tracking [32.47215340215641]
本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。
オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。
我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
論文 参考訳(メタデータ) (2023-10-04T17:49:48Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - Deep Class-Incremental Learning: A Survey [68.21880493796442]
常に変化する世界で、新しいクラスが時々現れます。
新しいクラスのインスタンスでモデルを直接トレーニングする場合、モデルは破滅的に以前のモデルの特徴を忘れる傾向があります。
ベンチマーク画像分類タスクにおける16の手法の厳密で統一的な評価を行い、異なるアルゴリズムの特徴を明らかにする。
論文 参考訳(メタデータ) (2023-02-07T17:59:05Z) - Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative
Priors [59.93972277761501]
我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。
このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
論文 参考訳(メタデータ) (2022-05-20T16:19:30Z) - Online Deep Learning from Doubly-Streaming Data [17.119725174036653]
本稿では,データストリームが常に進化する特徴空間によって記述される,二重ストリームデータによる新たなオンライン学習問題について検討する。
この課題を克服するもっともらしいアイデアは、進化する機能空間間の関係を確立することである。
従来の特徴空間と新しい特徴空間から情報を要約するために,共有潜在部分空間が発見された新しいOLD3Sパラダイムを提案する。
論文 参考訳(メタデータ) (2022-04-25T17:06:39Z) - Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。
第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。
我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
論文 参考訳(メタデータ) (2022-01-05T14:25:53Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳(メタデータ) (2021-07-19T13:57:13Z) - Continual Prototype Evolution: Learning Online from Non-Stationary Data
Streams [42.525141660788]
任意の時点で学習と予測を可能にするシステムを導入する。
継続的な学習における主要な仕事とは対照的に、データストリームはオンライン形式で処理される。
我々は,高度にバランスの取れない3つのデータストリームを含む8つのベンチマークで,最先端のパフォーマンスを顕著に比較した。
論文 参考訳(メタデータ) (2020-09-02T09:39:26Z) - What is being transferred in transfer learning? [51.6991244438545]
事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。
事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
論文 参考訳(メタデータ) (2020-08-26T17:23:40Z) - Storage Fit Learning with Feature Evolvable Streams [77.12891405919704]
ストレージフィールド機能進化型ストリーミング学習(SF$2$EL)を提案する。
我々のフレームワークは、ラベルのないデータで機能進化可能なストリームを学習する際に、その振る舞いを異なるストレージ予算に適合させることができる。
論文 参考訳(メタデータ) (2020-07-22T09:08:42Z) - Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。
現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。
ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
論文 参考訳(メタデータ) (2020-02-19T13:21:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。