論文の概要: Overcoming the Stability Gap in Continual Learning
- arxiv url: http://arxiv.org/abs/2306.01904v2
- Date: Fri, 29 Sep 2023 17:37:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 18:28:00.913332
- Title: Overcoming the Stability Gap in Continual Learning
- Title(参考訳): 継続的学習における安定性のギャップ克服
- Authors: Md Yousuf Harun and Christopher Kanan
- Abstract要約: 多くの現実世界のアプリケーションでは、データセットのサイズが大きくなるにつれて、ディープニューラルネットワークはゼロから再訓練される。
この目標を達成するための障害は安定性のギャップである。これは、新しいデータを更新するとき、以前に学習したデータのパフォーマンスが回復する前に劣化するという観察を参照することである。
私たちの研究は、更新されたニューラルネットワークを維持するのに必要な炭素フットプリントを減らすとともに、現実世界のアプリケーションに対する継続的な学習の最先端を推し進める可能性がある。
- 参考スコア(独自算出の注目度): 18.74786578546498
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In many real-world applications, deep neural networks are retrained from
scratch as a dataset grows in size. Given the computational expense for
retraining networks, it has been argued that continual learning could make
updating networks more efficient. An obstacle to achieving this goal is the
stability gap, which refers to an observation that when updating on new data,
performance on previously learned data degrades before recovering. Addressing
this problem would enable learning new data with fewer network updates,
resulting in increased computational efficiency. We study how to mitigate the
stability gap. We test a variety of hypotheses to understand why the stability
gap occurs. This leads us to discover a method that vastly reduces this gap. In
large-scale class incremental learning experiments, we are able to
significantly reduce the number of network updates needed for continual
learning. Our work has the potential to advance the state-of-the-art in
continual learning for real-world applications along with reducing the carbon
footprint required to maintain updated neural networks.
- Abstract(参考訳): 多くの現実世界のアプリケーションでは、データセットのサイズが大きくなるにつれて、ディープニューラルネットワークはスクラッチから再トレーニングされる。
再トレーニングネットワークの計算コストを考えると、継続的な学習によってネットワークの更新がより効率的になると主張している。
この目標を達成する上での障害は安定性ギャップであり、新しいデータを更新すると、事前に学習したデータのパフォーマンスが回復する前に劣化する、という観察を指す。
この問題に対処することで、ネットワーク更新が少なくて新しいデータを学ぶことができ、計算効率が向上する。
我々は安定性のギャップを緩和する方法を研究する。
我々は、安定性のギャップが発生する理由を理解するために、様々な仮説を試す。
これにより、このギャップを大幅に減らす方法が発見できます。
大規模クラスインクリメンタル学習実験では,継続的な学習に必要なネットワーク更新数を大幅に削減することができた。
我々の研究は、更新されたニューラルネットワークを維持するのに必要な炭素フットプリントを減らすとともに、現実世界のアプリケーションに対する継続的な学習の最先端を推し進める可能性がある。
関連論文リスト
- Negotiated Representations to Prevent Forgetting in Machine Learning
Applications [0.0]
破滅的な忘れは、機械学習の分野で重要な課題である。
本稿では,機械学習アプリケーションにおける破滅的忘れを防止する新しい方法を提案する。
論文 参考訳(メタデータ) (2023-11-30T22:43:50Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳(メタデータ) (2023-06-14T01:24:42Z) - How Efficient Are Today's Continual Learning Algorithms? [31.120016345185217]
監視された継続学習では、ラベル付きデータのストリームからディープニューラルネットワーク(DNN)を更新する。
継続的学習の背景にある大きな動機の1つは、時間とともに成長するにつれてトレーニングデータセットをスクラッチからリトレーニングするのではなく、ネットワークを新しい情報で効率的に更新できることだ。
本稿では,近年のインクリメンタルなクラス学習手法について検討し,計算,メモリ,記憶の面では非常に非効率であることを示す。
論文 参考訳(メタデータ) (2023-03-29T18:52:10Z) - Explain to Not Forget: Defending Against Catastrophic Forgetting with
XAI [10.374979214803805]
破滅的な忘れは、ニューラルネットワークが新しい情報を与えられたときの過去の知識を完全に忘れてしまう現象を記述している。
我々は、ニューラルネットワークが新しいデータをトレーニングする際に、以前のタスクで既に学んだ情報を保持するために、レイヤーワイズ関連伝播を利用する、トレーニングと呼ばれる新しいトレーニングアルゴリズムを提案する。
我々の手法は、ニューラルネットワーク内の古いタスクの知識をうまく保持するだけでなく、他の最先端のソリューションよりもリソース効率が良い。
論文 参考訳(メタデータ) (2022-05-04T08:00:49Z) - Learning Fast and Slow for Online Time Series Forecasting [76.50127663309604]
Fast and Slow Learning Networks (FSNet)は、オンライン時系列予測のための総合的なフレームワークである。
FSNetは、最近の変更への迅速な適応と、同様の古い知識の取得のバランスを取る。
私たちのコードは公開されます。
論文 参考訳(メタデータ) (2022-02-23T18:23:07Z) - Learning Bayesian Sparse Networks with Full Experience Replay for
Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。
既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。
我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文 参考訳(メタデータ) (2022-02-21T13:25:03Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳(メタデータ) (2021-12-09T07:11:14Z) - Center Loss Regularization for Continual Learning [0.0]
一般的に、ニューラルネットワークには、さまざまなタスクを逐次学習する能力がない。
提案手法では,従来のタスクに近い新しいタスクの表現を投影することで,古いタスクを記憶する。
提案手法は,最先端の継続的学習手法と比較して,スケーラブルで効果的で,競争力のある性能を示す。
論文 参考訳(メタデータ) (2021-10-21T17:46:44Z) - Adaptive Explainable Continual Learning Framework for Regression
Problems with Focus on Power Forecasts [0.0]
この文脈における潜在的な課題を説明するために、2つの連続的な学習シナリオが提案される。
ディープニューラルネットワークは、新しいタスクを学習し、アプリケーションのデータ量が増加し続けるにつれて、古いタスクから得た知識を忘れないようにしなければならない。
研究トピックは関連しているが、連続的なディープラーニングアルゴリズムの開発、データストリームにおける非定常検出戦略、説明可能で可視化可能な人工知能などに限定されていない。
論文 参考訳(メタデータ) (2021-08-24T14:59:10Z) - Online Continual Learning with Natural Distribution Shifts: An Empirical
Study with Visual Data [101.6195176510611]
オンライン」連続学習は、情報保持とオンライン学習の有効性の両方を評価することができる。
オンライン連続学習では、入力される各小さなデータをまずテストに使用し、次にトレーニングセットに追加し、真にオンラインにします。
本稿では,大規模かつ自然な分布変化を示すオンライン連続視覚学習のための新しいベンチマークを提案する。
論文 参考訳(メタデータ) (2021-08-20T06:17:20Z) - Understanding the Role of Training Regimes in Continual Learning [51.32945003239048]
破滅的な忘れは、ニューラルネットワークのトレーニングに影響を与え、複数のタスクを逐次学習する能力を制限する。
本研究では,タスクの局所的なミニマを拡大するトレーニング体制の形成に及ぼすドロップアウト,学習速度の低下,バッチサイズの影響について検討した。
論文 参考訳(メタデータ) (2020-06-12T06:00:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。