Fugu-MT 論文翻訳(概要): Continual Learning and Catastrophic Forgetting

論文の概要: Continual Learning and Catastrophic Forgetting

arxiv url: http://arxiv.org/abs/2403.05175v1
Date: Fri, 8 Mar 2024 09:32:43 GMT
ステータス: 処理完了
システム内更新日: 2024-03-11 20:16:24.956715
Title: Continual Learning and Catastrophic Forgetting
Title（参考訳）: 継続的な学習とカタストロフィックフォーミング
Authors: Gido M. van de Ven, Nicholas Soures, Dhireesha Kudithipudi
Abstract要約: この章は、非定常的なデータストリームから漸進的に学習するプロセスである継続的学習のダイナミクスを掘り下げている。重要な理由は、何か新しいことを学ぶとき、これらのネットワークは、彼らが以前に学んだことを素早く、そして劇的に忘れてしまう傾向があることです。
参考スコア（独自算出の注目度）: 4.6159105670682194
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: This book chapter delves into the dynamics of continual learning, which is the process of incrementally learning from a non-stationary stream of data. Although continual learning is a natural skill for the human brain, it is very challenging for artificial neural networks. An important reason is that, when learning something new, these networks tend to quickly and drastically forget what they had learned before, a phenomenon known as catastrophic forgetting. Especially in the last decade, continual learning has become an extensively studied topic in deep learning. This book chapter reviews the insights that this field has generated.
Abstract（参考訳）: この章は、非定常的なデータストリームから漸進的に学習するプロセスである継続的学習のダイナミクスを掘り下げている。連続学習は人間の脳にとって自然なスキルであるが、人工ニューラルネットワークでは非常に難しい。重要な理由は、何か新しいことを学ぶとき、これらのネットワークは、それまで学んだことを素早く、そして劇的に忘れてしまう傾向があることだ。特に過去10年間で、継続的な学習は深層学習において広範囲に研究されるトピックとなった。本章は、この分野が生み出した洞察をレビューする。

関連論文リスト

Continual Learning: Applications and the Road Forward [119.03464063873407]
継続的学習は、機械学習モデルが、過去に学んだことを忘れずに知識を蓄積することで、新しいデータを継続的に学習できるようにすることを目的としている。この研究は、2023年3月のDagtuhl Seminar on Deep Continual Learningで著者らが行った多くの議論の結果である。
論文参考訳（メタデータ） (2023-11-20T16:40:29Z)
Critical Learning Periods for Multisensory Integration in Deep Networks [112.40005682521638]
ニューラルネットワークが様々な情報源からの情報を統合する能力は、トレーニングの初期段階において、適切な相関した信号に晒されることに批判的になることを示す。臨界周期は、訓練されたシステムとその学習された表現の最終性能を決定づける、複雑で不安定な初期過渡的ダイナミクスから生じることを示す。
論文参考訳（メタデータ） (2022-10-06T23:50:38Z)
Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文参考訳（メタデータ） (2022-10-06T13:04:45Z)
Deep Learning and Artificial General Intelligence: Still a Long Way to Go [0.15229257192293197]
ニューラルネットワークアーキテクチャを用いたディープラーニングは、コンピュータサイエンス研究の最前線にある。この記事では、現在の状態において、ディープニューラルネットワークが人工知能に到達するための選択技術である準備ができていない5つの主要な理由を批判的に示す。
論文参考訳（メタデータ） (2022-03-25T23:36:17Z)
Transferability in Deep Learning: A Survey [80.67296873915176]
知識を習得し再利用する能力は、ディープラーニングにおける伝達可能性として知られている。本研究は,深層学習における異なる孤立領域と伝達可能性との関係を関連付けるための調査である。我々はベンチマークとオープンソースライブラリを実装し、転送可能性の観点からディープラーニング手法の公平な評価を可能にする。
論文参考訳（メタデータ） (2022-01-15T15:03:17Z)
Towards continual task learning in artificial neural networks: current approaches and insights from neuroscience [0.0]
人間や他の動物が、多様で、しばしば干渉し、知識の範囲を学習する能力は、自然知性の目印である。人工知能がさまざまなタスクやドメインをまたいで学習できることは、人工知能の明確な目標である。
論文参考訳（メタデータ） (2021-12-28T13:50:51Z)
Training Spiking Neural Networks Using Lessons From Deep Learning [28.827506468167652]
シナプスとニューロンの内部構造は、ディープラーニングの未来を垣間見ることができます。いくつかのアイデアはニューロモルフィックエンジニアリングコミュニティでよく受け入れられ、一般的に使われているが、他のアイデアはここで初めて提示または正当化されている。 PythonパッケージであるsnnTorchを使って、この論文を補完する一連のインタラクティブチュートリアルも利用可能である。
論文参考訳（メタデータ） (2021-09-27T09:28:04Z)
Ten Quick Tips for Deep Learning in Biology [116.78436313026478]
機械学習は、データのパターンを認識し、予測モデリングに使用するアルゴリズムの開発と応用に関係している。ディープラーニングは、独自の機械学習のサブフィールドになっている。生物学的研究の文脈において、ディープラーニングは高次元の生物学的データから新しい洞察を導き出すためにますます使われてきた。
論文参考訳（メタデータ） (2021-05-29T21:02:44Z)
Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文参考訳（メタデータ） (2020-11-12T06:06:33Z)
Continual Learning: Tackling Catastrophic Forgetting in Deep Neural Networks with Replay Processes [0.0]
連続的なアルゴリズムは、忘れずに学習経験のカリキュラムで知識を蓄積し、改善するように設計されている。生成的再生は、過去の学習経験を記憶するための生成モデルで再現する。連続学習には非常に有望な手法であることを示す。
論文参考訳（メタデータ） (2020-07-01T13:44:33Z)
Learning to Continually Learn [14.988129334830003]
ニューロ変調メタラーニングアルゴリズム(ANML)を提案する。脳の神経調節過程にインスパイアされた我々は、神経変調メタラーニングアルゴリズム(ANML)を提案する。 ANMLは最先端の継続的学習性能を生成し、600以上のクラスを逐次学習する(9000以上のSGD更新)。
論文参考訳（メタデータ） (2020-02-21T22:52:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。