論文の概要: Class-Incremental Experience Replay for Continual Learning under Concept Drift

• arxiv url: http://arxiv.org/abs/2104.11861v1
• Date: Sat, 24 Apr 2021 02:36:38 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-27 14:56:39.803743
• Title: Class-Incremental Experience Replay for Continual Learning under Concept Drift
• Title（参考訳）: 概念ドリフト下の継続学習のためのクラスインクリメンタル体験リプレイ
• Authors: {\L}ukasz Korycki, Bartosz Krawczyk
• Abstract要約: 機械学習を扱う研究の2つの主な分野は、継続的学習とデータストリームマイニングである。 両タスクに対応可能な,新たな継続的学習手法を提案する。
• 参考スコア（独自算出の注目度）: 6.436899373275926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern machine learning systems need to be able to cope with constantly arriving and changing data. Two main areas of research dealing with such scenarios are continual learning and data stream mining. Continual learning focuses on accumulating knowledge and avoiding forgetting, assuming information once learned should be stored. Data stream mining focuses on adaptation to concept drift and discarding outdated information, assuming that only the most recent data is relevant. While these two areas are mainly being developed in separation, they offer complementary views on the problem of learning from dynamic data. There is a need for unifying them, by offering architectures capable of both learning and storing new information, as well as revisiting and adapting to changes in previously seen concepts. We propose a novel continual learning approach that can handle both tasks. Our experience replay method is fueled by a centroid-driven memory storing diverse instances of incrementally arriving classes. This is enhanced with a reactive subspace buffer that tracks concept drift occurrences in previously seen classes and adapts clusters accordingly. The proposed architecture is thus capable of both remembering valid and forgetting outdated information, offering a holistic framework for continual learning under concept drift.
• Abstract（参考訳）: 現代の機械学習システムは、データの頻繁な到着と変更に対応できる必要がある。 このようなシナリオを扱う2つの研究分野は、継続的学習とデータストリームマイニングである。 継続的学習は、知識を蓄積し、学習した情報を保存すべきと仮定して、忘れることを避けることに焦点を当てている。 データストリームマイニングは、最新のデータだけが関連すると仮定して、概念ドリフトへの適応と古い情報の破棄に焦点を当てている。 これら2つの領域は主に分離して開発されているが、動的データから学習する問題の相補的な見解を提供する。 新たな情報を学習し、保存し、また、以前見た概念の変更を見直し、適応できるアーキテクチャを提供することで、それらを統一する必要性がある。 両タスクを処理可能な新しい連続学習手法を提案する。 experience replayメソッドは、インクリメンタルに到着するクラスの多様なインスタンスを格納するcentroid駆動のメモリによって実現されます。 これはリアクティブサブスペースバッファによって強化され、前述のクラスでの概念ドリフトの発生を追跡し、それに応じてクラスタに適応する。 提案したアーキテクチャは、有効性と古い情報を忘れることの両方を記憶することができ、概念ドリフト下での連続学習のための総合的なフレームワークを提供する。

関連論文リスト

• Multi-Stage Knowledge Integration of Vision-Language Models for Continual Learning [79.46570165281084]
  蒸留法における人間の学習過程をエミュレートするマルチステージ知識統合ネットワーク(MulKI)を提案する。 Mulkiは、イデオロギーの排除、新しいイデオロギーの追加、イデオロギーの排除、コネクティクスの作りという4つの段階を通じてこれを達成している。 提案手法は,下流タスク間の連続学習をサポートしながら,ゼロショット能力の維持における大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-11-11T07:36:19Z)
• A Unified Framework for Continual Learning and Machine Unlearning [9.538733681436836]
  継続的学習と機械学習は機械学習において重要な課題であり、通常は別々に対処される。 制御された知識蒸留を活用することによって,両課題に共同で取り組む新しい枠組みを導入する。 我々のアプローチは、最小限の忘れ込みと効果的な標的未学習で効率的な学習を可能にする。
  論文  参考訳（メタデータ） (2024-08-21T06:49:59Z)
• Exploiting the Semantic Knowledge of Pre-trained Text-Encoders for Continual Learning [70.64617500380287]
  継続的な学習は、モデルが学習した知識を維持しながら、新しいデータから学習することを可能にする。 画像のラベル情報で利用できるセマンティック知識は、以前に取得したセマンティッククラスの知識と関連する重要なセマンティック情報を提供する。 テキスト埋め込みを用いて意味的類似性を把握し,タスク内およびタスク間のセマンティックガイダンスの統合を提案する。
  論文  参考訳（メタデータ） (2024-08-02T07:51:44Z)
• Decision Boundary-aware Knowledge Consolidation Generates Better Instance-Incremental Learner [41.462673126500974]
  インスタンス・インクリメンタル・ラーニング(IIL)は、同じクラスのデータで継続的に学習することに焦点を当てている。 そこで本研究では,教師に知識を集中させ,新たな知識を習得し易くするための新しい意思決定境界対応蒸留法を提案する。
  論文  参考訳（メタデータ） (2024-06-05T08:49:51Z)
• COOLer: Class-Incremental Learning for Appearance-Based Multiple Object Tracking [32.47215340215641]
  本稿では,連続学習研究の範囲を,複数物体追跡(MOT)のためのクラス増分学習に拡張する。 オブジェクト検出器の連続学習のための従来のソリューションは、外見に基づくトラッカーのデータ関連ステージには対応していない。 我々は,Contrastive- and cOntinual-LearningベースのトラッカーであるCOOLerを紹介した。
  論文  参考訳（メタデータ） (2023-10-04T17:49:48Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• Adaptive Online Incremental Learning for Evolving Data Streams [4.3386084277869505]
  最初の大きな困難はコンセプトドリフトであり、つまり、ストリーミングデータの確率分布はデータが到着するにつれて変化する。 第二の難しさは、破滅的な忘れ、すなわち、新しい知識を学ぶ前に学んだことを忘れることです。 我々の研究はこの観察に基づいており、これらの困難を克服しようと試みている。
  論文  参考訳（メタデータ） (2022-01-05T14:25:53Z)
• What is being transferred in transfer learning? [51.6991244438545]
  事前訓練した重量からトレーニングを行うと、モデルは損失景観の同じ流域に留まることを示す。 事前学習した重みからトレーニングする場合、モデルは損失ランドスケープの同じ流域に留まり、そのようなモデルの異なるインスタンスは特徴空間と類似しており、パラメータ空間は近接している。
  論文  参考訳（メタデータ） (2020-08-26T17:23:40Z)
• Storage Fit Learning with Feature Evolvable Streams [77.12891405919704]
  ストレージフィールド機能進化型ストリーミング学習(SF$2$EL)を提案する。 我々のフレームワークは、ラベルのないデータで機能進化可能なストリームを学習する際に、その振る舞いを異なるストレージ予算に適合させることができる。
  論文  参考訳（メタデータ） (2020-07-22T09:08:42Z)
• Using Hindsight to Anchor Past Knowledge in Continual Learning [36.271906785418864]
  連続学習では、学習者は時間とともに分布が変化するデータのストリームに直面します。 現代のニューラルネットワークは、以前に獲得した知識をすぐに忘れてしまうため、この設定で苦しむことが知られている。 ここでは、学習者が2段階最適化を使用して現在のタスクの知識を更新し、過去のタスクの予測をそのまま維持する。
  論文  参考訳（メタデータ） (2020-02-19T13:21:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。