論文の概要: Online Continual Learning under Extreme Memory Constraints
- arxiv url: http://arxiv.org/abs/2008.01510v3
- Date: Wed, 12 Jan 2022 14:09:48 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-02 23:37:43.461730
- Title: Online Continual Learning under Extreme Memory Constraints
- Title(参考訳): 極端記憶制約下におけるオンライン連続学習
- Authors: Enrico Fini, St\'ephane Lathuili\`ere, Enver Sangineto, Moin Nabi,
Elisa Ricci
- Abstract要約: メモリ制約付きオンライン連続学習(MC-OCL)の新たな課題について紹介する。
MC-OCLは、起こりうるアルゴリズムが破滅的な忘れ物を避けるために使用できるメモリオーバーヘッドに厳格な制約を課している。
正規化に基づくCL手法であるバッチレベル蒸留(BLD)を提案する。
- 参考スコア(独自算出の注目度): 40.80045285324969
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Learning (CL) aims to develop agents emulating the human ability to
sequentially learn new tasks while being able to retain knowledge obtained from
past experiences. In this paper, we introduce the novel problem of
Memory-Constrained Online Continual Learning (MC-OCL) which imposes strict
constraints on the memory overhead that a possible algorithm can use to avoid
catastrophic forgetting. As most, if not all, previous CL methods violate these
constraints, we propose an algorithmic solution to MC-OCL: Batch-level
Distillation (BLD), a regularization-based CL approach, which effectively
balances stability and plasticity in order to learn from data streams, while
preserving the ability to solve old tasks through distillation. Our extensive
experimental evaluation, conducted on three publicly available benchmarks,
empirically demonstrates that our approach successfully addresses the MC-OCL
problem and achieves comparable accuracy to prior distillation methods
requiring higher memory overhead.
- Abstract(参考訳): 継続学習(continual learning, cl)は、過去の経験から得られた知識を保ちながら、新しいタスクを順次学習する能力を模倣するエージェントを開発することを目的としている。
本稿では,メモリオーバヘッドに厳格な制約を課す,メモリ制約付きオンライン連続学習(mc-ocl)の新たな問題を提案する。
データストリームから学ぶために、安定性と可塑性を効果的にバランスさせながら、蒸留によって古いタスクを解決することができる正規化ベースのclアプローチである、バッチレベル蒸留(bld)である。
提案手法がmc-ocl問題に対して有効であることを実証し,高いメモリオーバヘッドを必要とする先行蒸留法と同等の精度を達成することを実証した。
関連論文リスト
- Dynamic Sub-graph Distillation for Robust Semi-supervised Continual
Learning [52.046037471678005]
半教師付き連続学習(SSCL)に焦点をあて、そのモデルが未知のカテゴリを持つ部分ラベル付きデータから徐々に学習する。
半教師付き連続学習のための動的サブグラフ蒸留法(DSGD)を提案する。
論文 参考訳(メタデータ) (2023-12-27T04:40:12Z) - Continual Learning with Dirichlet Generative-based Rehearsal [22.314195832409755]
本稿では,タスク指向対話システムのための新しい生成型リハーサル戦略であるDirichlet Continual Learningを紹介する。
また,ロジットに基づく堅牢な知識蒸留法であるJensen-Shannon Knowledge Distillation (JSKD)についても紹介する。
本研究は,本手法の有効性を実証し,本手法の有効性を確認した。
論文 参考訳(メタデータ) (2023-09-13T12:30:03Z) - Rethinking Momentum Knowledge Distillation in Online Continual Learning [24.692058640897372]
そこで本研究では,MKD(Momentum Knowledge Distillation)を多くのフラグシップであるオンライン連続学習(OCL)手法に適用するための,直接的かつ効果的な方法論を提案する。
ImageNet100の既存の最先端の精度を10%以上向上させるだけでなく、私たちはOCLのトレーニング中にMKDの内部力学と影響に光を当てました。
論文 参考訳(メタデータ) (2023-09-06T09:49:20Z) - Online Continual Learning Without the Storage Constraint [67.66235695269839]
我々は、kNN分類器を固定された事前訓練された特徴抽出器とともに継続的に更新する簡単なアルゴリズムを提案する。
高速に変化するストリームに適応し、安定性のギャップをゼロにし、小さな計算予算内で動作し、機能のみを格納することで、ストレージ要件を低くすることができる。
2つの大規模オンライン連続学習データセットにおいて、既存の手法を20%以上の精度で上回ることができる。
論文 参考訳(メタデータ) (2023-05-16T08:03:07Z) - CCL: Continual Contrastive Learning for LiDAR Place Recognition [5.025654873456756]
現在のディープラーニングベースの手法は、一般化能力の低下と破滅的な忘れ込みに悩まされている。
破滅的な忘れの問題に対処するために,CCLという連続的なコントラスト学習手法を提案する。
本手法は,最先端の継続的学習法よりも優れた環境下での異なる手法の性能を継続的に向上させる。
論文 参考訳(メタデータ) (2023-03-24T12:14:54Z) - A Study of Continual Learning Methods for Q-Learning [78.6363825307044]
本稿では、強化学習(RL)シナリオにおける継続学習(CL)手法の使用に関する実証的研究について述べる。
この結果から,専用CL法は「経験的再生」のベースライン手法と比較して学習を著しく改善できることがわかった。
論文 参考訳(メタデータ) (2022-06-08T14:51:52Z) - Modular-Relatedness for Continual Learning [20.559945682354538]
逐次的タスク学習者にとって有益な連続学習(CL)手法を提案する。
このアプローチの主なターゲットは、ニューラルネットワークのモジュラー部分の自動抽出と、これらのモジュラーコンポーネントが与えられたタスク間の関連性を推定することである。
この手法は、正規化ベースの(例えばElastic Weight Consolidation)やリハーサルベースの(例えばGradient Episodic Memory)といった、エピソードメモリを必要とするCLメソッドの異なるファミリーに適用できる。
論文 参考訳(メタデータ) (2020-11-02T19:30:15Z) - Bilevel Continual Learning [76.50127663309604]
BCL(Bilevel Continual Learning)という,継続的学習の新たな枠組みを提案する。
連続学習ベンチマーク実験では,多くの最先端手法と比較して,提案したBCLの有効性が示された。
論文 参考訳(メタデータ) (2020-07-30T16:00:23Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。