論文の概要: ER-FSL: Experience Replay with Feature Subspace Learning for Online Continual Learning
- arxiv url: http://arxiv.org/abs/2407.12279v1
- Date: Wed, 17 Jul 2024 03:00:05 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-18 18:38:37.217098
- Title: ER-FSL: Experience Replay with Feature Subspace Learning for Online Continual Learning
- Title（参考訳）: ER-FSL:オンライン連続学習のための機能サブスペース学習による体験リプレイ
- Authors: Huiwei Lin,
- Abstract要約: オンライン連続学習(OCL)では、新しいデータに適応しながら古いデータからの知識を保持するディープニューラルネットワークが1回しかアクセスできない。
既存のリプレイベースのメソッドは、古いデータからバッファ化されたサンプルを再生し、新しいデータの現在のサンプルを学習することで、忘れを軽減します。
本研究では,同じ特徴空間における学習と再生が,忘れる問題に対処する上では有効でないことを実証的に発見する。
- 参考スコア（独自算出の注目度）: 0.65268245109828
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Online continual learning (OCL) involves deep neural networks retaining knowledge from old data while adapting to new data, which is accessible only once. A critical challenge in OCL is catastrophic forgetting, reflected in reduced model performance on old data. Existing replay-based methods mitigate forgetting by replaying buffered samples from old data and learning current samples of new data. In this work, we dissect existing methods and empirically discover that learning and replaying in the same feature space is not conducive to addressing the forgetting issue. Since the learned features associated with old data are readily changed by the features related to new data due to data imbalance, leading to the forgetting problem. Based on this observation, we intuitively explore learning and replaying in different feature spaces. Learning in a feature subspace is sufficient to capture novel knowledge from new data while replaying in a larger feature space provides more feature space to maintain historical knowledge from old data. To this end, we propose a novel OCL approach called experience replay with feature subspace learning (ER-FSL). Firstly, ER-FSL divides the entire feature space into multiple subspaces, with each subspace used to learn current samples. Moreover, it introduces a subspace reuse mechanism to address situations where no blank subspaces exist. Secondly, ER-FSL replays previous samples using an accumulated space comprising all learned subspaces. Extensive experiments on three datasets demonstrate the superiority of ER-FSL over various state-of-the-art methods.
- Abstract（参考訳）: オンライン連続学習(OCL)では、新しいデータに適応しながら古いデータからの知識を保持するディープニューラルネットワークが1回しかアクセスできない。
OCLにおける重要な課題は、古いデータに対するモデルパフォーマンスの低下を反映した破滅的な忘れ込みである。
既存のリプレイベースのメソッドは、古いデータからバッファ化されたサンプルを再生し、新しいデータの現在のサンプルを学習することで、忘れを軽減します。
本研究では,既存の手法を識別し,同じ特徴空間における学習と再生が,忘れる問題への対処に適さないことを実証的に発見する。
古いデータに関連する学習機能は、データの不均衡によって新しいデータに関連する機能によって容易に変更されるため、忘れてしまう問題が発生する。
この観察に基づいて,異なる特徴空間における学習と再生を直感的に検討する。
機能部分空間での学習は、新しいデータから新しい知識を捉えるのに十分であり、大きな機能空間での再生は、古いデータから歴史的な知識を維持するためにより多くの機能空間を提供する。
そこで本稿では,特徴部分空間学習(ER-FSL)を用いた経験リプレイという新しいOCL手法を提案する。
まず、ER-FSLは特徴空間全体を複数の部分空間に分割し、各部分空間は現在のサンプルを学習するために使用される。
さらに,空白部分空間が存在しない状況に対処するためのサブスペース再利用機構も導入されている。
第2に、ER-FSLは全ての学習された部分空間からなる蓄積された空間を用いて以前のサンプルを再生する。
3つのデータセットに対する大規模な実験は、ER-FSLが様々な最先端手法よりも優れていることを示す。
関連論文リスト
- Diffusion-Driven Data Replay: A Novel Approach to Combat Forgetting in Federated Class Continual Learning [13.836798036474143]
Federated Class Continual Learningにおける大きな課題は、破滅的な忘れ方だ。
本研究では拡散モデルに基づく新しいデータ再生手法を提案する。
我々の手法は既存のベースラインを大きく上回っている。
論文 参考訳（メタデータ） (2024-09-02T10:07:24Z) - Expandable Subspace Ensemble for Pre-Trained Model-Based Class-Incremental Learning [65.57123249246358]
PTMベースのCILのためのExpAndable Subspace Ensemble (EASE)を提案する。
タスク固有のサブスペースを作成することを目的として、新しいタスクごとに異なる軽量アダプタモジュールをトレーニングする。
我々のプロトタイプ補完戦略は、古いクラスのインスタンスを使わずに、古いクラスの新機能を合成します。
論文 参考訳（メタデータ） (2024-03-18T17:58:13Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - Data Augmentations in Deep Weight Spaces [89.45272760013928]
そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。
既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
論文 参考訳（メタデータ） (2023-11-15T10:43:13Z) - Don't Memorize; Mimic The Past: Federated Class Incremental Learning
Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。
生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文 参考訳（メタデータ） (2023-07-02T07:06:45Z) - OER: Offline Experience Replay for Continual Offline Reinforcement Learning [25.985985377992034]
エージェントには、事前にコンパイルされたオフラインデータセットのシーケンスを通じて、新たなスキルを継続的に学習することが望ましい。
本稿では、エージェントが一連のオフライン強化学習タスクを学習する、新しい設定である連続オフライン強化学習(CORL)を定式化する。
本稿では,リプレイバッファを構築するためのモデルベースエクスペリエンス選択手法を提案する。
論文 参考訳（メタデータ） (2023-05-23T08:16:44Z) - Adiabatic replay for continual learning [138.7878582237908]
生成的リプレイは、すでに知られていることを再学習するだけで、より多くの時間を費やします。
我々は、アディバティック・リプレイ(AR)と呼ぶリプレイベースのCL戦略を提案する。
VAEを用いた最先端の深層再生よりもARの方が優れていることを実験的に検証した。
論文 参考訳（メタデータ） (2023-03-23T10:18:06Z) - Few-Shot Class-Incremental Learning via Entropy-Regularized Data-Free
Replay [52.251188477192336]
FSCIL (Few-shot class-incremental Learning) は,データ制限のあるクラスを段階的に学習する深層学習システムを実現するために提案されている。
データリプレイの採用は驚くほど好都合である,という実証的な結果を通じて示します。
本研究では,実データにアクセスすることなく,ジェネレータによるデータ合成が可能なデータフリーリプレイを提案する。
論文 参考訳（メタデータ） (2022-07-22T17:30:51Z) - New Insights on Reducing Abrupt Representation Change in Online
Continual Learning [69.05515249097208]
我々は、以前に観測されていないクラスが入ってくるデータストリームに現れるときに発生する観測データの表現の変化に焦点を当てる。
Experience Replayを適用すると、新たに追加されたクラスの表現が以前のクラスと大幅に重複することを示します。
本稿では,新しいクラスに対応するために,学習した表現を劇的な適応から保護することで,この問題を緩和する手法を提案する。
論文 参考訳（メタデータ） (2022-03-08T01:37:00Z) - Online Continual Learning on Sequences [9.603184477806954]
オンライン連続学習(オンライン連続学習、英: Online Continuousal Learning、OCL)とは、トレーニングサンプルを再考することなく、連続したデータストリームから時間とともに学習できるシステムである。
OCLに対処する機械学習モデルは、新しい入力ストリームから学習する際に、隠れた表現が破壊されるか、完全に上書きされるような、テキスト触媒的忘れを軽減する必要がある。
論文 参考訳（メタデータ） (2020-03-20T05:49:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。