論文の概要: Challenging Common Assumptions about Catastrophic Forgetting
- arxiv url: http://arxiv.org/abs/2207.04543v2
- Date: Mon, 15 May 2023 22:27:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-17 19:55:37.420406
- Title: Challenging Common Assumptions about Catastrophic Forgetting
- Title(参考訳): 破滅的投機に関する一般的な推測
- Authors: Timoth\'ee Lesort, Oleksiy Ostapenko, Diganta Misra, Md Rifat Arefin,
Pau Rodr\'iguez, Laurent Charlin, Irina Rish
- Abstract要約: 本研究では,データ再帰を伴うタスクの長いシーケンスにおいて,勾配に基づくアルゴリズムを用いて訓練されたDNNにおける進歩的知識蓄積(KA)について検討する。
そこで我々は,SCoLeという新しいフレームワークを提案し,SGDで訓練したDNNに対して破滅的忘れ込みが限定的であることを示す。
- 参考スコア(独自算出の注目度): 13.1202659074346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Building learning agents that can progressively learn and accumulate
knowledge is the core goal of the continual learning (CL) research field.
Unfortunately, training a model on new data usually compromises the performance
on past data. In the CL literature, this effect is referred to as catastrophic
forgetting (CF). CF has been largely studied, and a plethora of methods have
been proposed to address it on short sequences of non-overlapping tasks. In
such setups, CF always leads to a quick and significant drop in performance in
past tasks. Nevertheless, despite CF, recent work showed that SGD training on
linear models accumulates knowledge in a CL regression setup. This phenomenon
becomes especially visible when tasks reoccur. We might then wonder if DNNs
trained with SGD or any standard gradient-based optimization accumulate
knowledge in such a way. Such phenomena would have interesting consequences for
applying DNNs to real continual scenarios. Indeed, standard gradient-based
optimization methods are significantly less computationally expensive than
existing CL algorithms. In this paper, we study the progressive knowledge
accumulation (KA) in DNNs trained with gradient-based algorithms in long
sequences of tasks with data re-occurrence. We propose a new framework, SCoLe
(Scaling Continual Learning), to investigate KA and discover that catastrophic
forgetting has a limited effect on DNNs trained with SGD. When trained on long
sequences with data sparsely re-occurring, the overall accuracy improves, which
might be counter-intuitive given the CF phenomenon. We empirically investigate
KA in DNNs under various data occurrence frequencies and propose simple and
scalable strategies to increase knowledge accumulation in DNNs.
- Abstract(参考訳): 知識を段階的に学習し蓄積できる学習エージェントの構築は、継続学習(CL)研究分野のコア目標である。
残念ながら、新しいデータに対するモデルのトレーニングは通常、過去のデータのパフォーマンスを損なう。
CL文献では、この効果は破滅的な忘れ(CF)と呼ばれる。
CFは主に研究され、重複しないタスクの短いシーケンスでそれに取り組むための多くの手法が提案されている。
このようなセットアップでは、CFは常に過去のタスクにおけるパフォーマンスの迅速かつ重大な低下につながります。
しかしながら,最近の研究では,線形モデルのSGDトレーニングがCL回帰設定に知識を蓄積していることが示されている。
この現象はタスクが再発生すると特に顕著になる。
そして、SGDで訓練されたDNNや標準勾配に基づく最適化が、そのような方法で知識を蓄積するかどうか疑問に思うかもしれない。
このような現象は、実際の連続的なシナリオにDNNを適用する上で興味深い結果をもたらすだろう。
実際、標準勾配に基づく最適化手法は既存のCLアルゴリズムよりも計算コストが大幅に低い。
本稿では,DNNにおける進化的知識蓄積(KA)について,データ再帰を伴うタスクの長い列における勾配に基づくアルゴリズムを用いて学習した。
そこで我々は,SCoLe (Scaling Continual Learning) という新しいフレームワークを提案し,SGDで訓練したDNNに破滅的な忘れ込みが限定的であることを示す。
データの少ない長いシーケンスでトレーニングすると、全体的な精度が向上し、CF現象を考えると直感に反する可能性がある。
各種データ発生頻度の異なるDNNにおけるKAを実験的に検討し,DNNにおける知識蓄積を高めるためのシンプルでスケーラブルな戦略を提案する。
関連論文リスト
- Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳(メタデータ) (2024-01-12T12:51:12Z) - Computationally Budgeted Continual Learning: What Does Matter? [128.0827987414154]
CL (Continuous Learning) は、新しいデータに適応しながら、以前の知識を保存し、分布の異なる入力データのストリーム上でモデルを逐次訓練することを目的としている。
現在のCL文献では、以前のデータへのアクセス制限に焦点が当てられているが、トレーニングの計算予算に制約は課されていない。
本稿では,この問題を大規模ベンチマークで再検討し,計算制約条件下での従来のCL手法の性能解析を行う。
論文 参考訳(メタデータ) (2023-03-20T14:50:27Z) - Dissecting Continual Learning a Structural and Data Analysis [0.0]
連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。
ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。
このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
論文 参考訳(メタデータ) (2023-01-03T10:37:11Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - AirLoop: Lifelong Loop Closure Detection [5.3759730885842725]
AirLoopは、生涯学習のテクニックを活用して、ループクロージャ検出モデルを漸進的にトレーニングする際の忘れを最小化する手法である。
本研究では,AirLoopがTartanAir,Norland,RobotCarの各データセットに与える影響を実験的に検証した。
論文 参考訳(メタデータ) (2021-09-18T17:28:47Z) - Lifelong Object Detection [28.608982224098565]
私たちは、新しいトレーニングクラスが逐次的に到着し、モデルを漸進的に洗練するという事実を活用します。
我々は、高精度かつ効率的な予測のために、代表対象検出器であるFaster R-CNNを検討する。
論文 参考訳(メタデータ) (2020-09-02T15:08:51Z) - SpaceNet: Make Free Space For Continual Learning [15.914199054779438]
本研究では,クラスインクリメンタル学習シナリオのための新しいアーキテクチャベースのSpaceNetを提案する。
SpaceNetは、複数のニューロンで各タスクのスパース接続を圧縮する適応的な方法で、スクラッチから深層ニューラルネットワークを訓練する。
実験により,従来のタスクを忘れることに対する提案手法のロバストさと,モデルが利用可能な容量を利用する場合のSpaceNetの効率性を示す。
論文 参考訳(メタデータ) (2020-07-15T11:21:31Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z) - AdaS: Adaptive Scheduling of Stochastic Gradients [50.80697760166045]
我々は、textit "knowledge gain" と textit "mapping condition" の概念を導入し、Adaptive Scheduling (AdaS) と呼ばれる新しいアルゴリズムを提案する。
実験によると、AdaSは派生した指標を用いて、既存の適応学習手法よりも高速な収束と優れた一般化、そして(b)いつトレーニングを中止するかを決定するための検証セットへの依存の欠如を示す。
論文 参考訳(メタデータ) (2020-06-11T16:36:31Z) - Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。
本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
論文 参考訳(メタデータ) (2020-06-10T08:22:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。