論文の概要: A Methodology-Oriented Study of Catastrophic Forgetting in Incremental Deep Neural Networks
- arxiv url: http://arxiv.org/abs/2405.08015v1
- Date: Sat, 11 May 2024 05:10:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-15 18:03:09.971032
- Title: A Methodology-Oriented Study of Catastrophic Forgetting in Incremental Deep Neural Networks
- Title（参考訳）: インクリメンタルディープニューラルネットワークにおけるカタストロフィックフォーミングの手法による検討
- Authors: Ashutosh Kumar, Sonali Agarwal, D Jude Hemanth,
- Abstract要約: 生涯を通して学習する能力は、神経認知機構を用いた連続学習と呼ばれる。
人工知能の主な課題は、新しいデータが直面するときの自律エージェントの漸進的な学習である。
本稿では,(1)模範的手法,(2)記憶的手法,(3)ネットワーク的手法の3種類の漸進的学習手法を比較した。
- 参考スコア（独自算出の注目度）: 4.844142799909677
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Human being and different species of animals having the skills to gather, transferring knowledge, processing, fine-tune and generating information throughout their lifetime. The ability of learning throughout their lifespan is referred as continuous learning which is using neurocognition mechanism. Consequently, in real world computational system of incremental learning autonomous agents also needs such continuous learning mechanism which provide retrieval of information and long-term memory consolidation. However, the main challenge in artificial intelligence is that the incremental learning of the autonomous agent when new data confronted. In such scenarios, the main concern is catastrophic forgetting(CF), i.e., while learning the sequentially, neural network underfits the old data when it confronted with new data. To tackle this CF problem many numerous studied have been proposed, however it is very difficult to compare their performance due to dissimilarity in their evaluation mechanism. Here we focus on the comparison of all algorithms which are having similar type of evaluation mechanism. Here we are comparing three types of incremental learning methods: (1) Exemplar based methods, (2) Memory based methods, and (3) Network based method. In this survey paper, methodology oriented study for catastrophic forgetting in incremental deep neural network is addressed. Furthermore, it contains the mathematical overview of impact-full methods which can be help researchers to deal with CF.
- Abstract（参考訳）: 人間と異なる種類の動物は、生涯を通じて知識を集め、伝達し、処理し、微調整し、情報を生成する能力を持っている。
生涯を通して学習する能力は、神経認知機構を用いた連続学習と呼ばれる。
その結果、インクリメンタル学習自律エージェントの現実的な計算システムでは、情報検索や長期記憶統合を提供する継続的学習機構も必要となる。
しかし、人工知能の主な課題は、新しいデータが直面するときの自律エージェントの漸進的な学習である。
このようなシナリオにおいて、主な関心事は破滅的忘れ(CF)、すなわち、シーケンシャルにニューラルネットワークを学習しながら、新しいデータに直面すると古いデータに不適合である。
このCF問題に対処するために、多くの研究が提案されているが、その評価メカニズムの相違により、それらの性能を比較することは極めて困難である。
ここでは、同様の評価機構を持つ全てのアルゴリズムの比較に焦点を当てる。
本稿では,(1)模範的手法,(2)記憶的手法,(3)ネットワーク的手法の3種類の漸進的学習手法を比較した。
本稿では,インクリメンタルディープニューラルネットワークにおける破滅的忘れに対する方法論指向の研究について述べる。
さらに、研究者がCFを扱うのに役立つインパクトフル手法の数学的概要も含んでいる。
関連論文リスト
- Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Continual Learning with Deep Learning Methods in an Application-Oriented
Context [0.0]
人工知能(AI)の重要な研究領域は、データから知識を自動的に導出することである。
ディープニューラルネットワーク(Deep Neural Networks, DNN)と呼ばれる、"ディープラーニング"モデルに分類される機械学習アルゴリズムの一種。
DNNは、新しい知識が既存のベースに追加されるのを防ぐ問題の影響を受けます。
論文 参考訳（メタデータ） (2022-07-12T10:13:33Z) - A Neural Network Based Method with Transfer Learning for Genetic Data
Analysis [3.8599966694228667]
我々はトランスファーラーニング手法とニューラルネットワークに基づく手法(外乱ニューラルネットワーク)を組み合わせる。
これまでの学習を活用して、ゼロから始めることを避けて、モデルのパフォーマンスを改善します。
トランスファーラーニングアルゴリズムを用いることで、トランスファーラーニング技術を用いることなく、期待できるニューラルネットワークと比較して、期待できるニューラルネットワークの性能が向上する。
論文 参考訳（メタデータ） (2022-06-20T16:16:05Z) - Continual Learning with Bayesian Model based on a Fixed Pre-trained
Feature Extractor [55.9023096444383]
現在のディープラーニングモデルは、新しいクラスを学ぶ際に古い知識を破滅的に忘れることによって特徴づけられる。
人間の脳における新しい知識の学習プロセスに着想を得て,連続学習のためのベイズ生成モデルを提案する。
論文 参考訳（メタデータ） (2022-04-28T08:41:51Z) - On Generalizing Beyond Domains in Cross-Domain Continual Learning [91.56748415975683]
ディープニューラルネットワークは、新しいタスクを学んだ後、これまで学んだ知識の破滅的な忘れ込みに悩まされることが多い。
提案手法は、ドメインシフト中の新しいタスクを精度良く学習することで、DomainNetやOfficeHomeといった挑戦的なデータセットで最大10%向上する。
論文 参考訳（メタデータ） (2022-03-08T09:57:48Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Neuronal Learning Analysis using Cycle-Consistent Adversarial Networks [4.874780144224057]
我々は、-CycleGANと呼ばれる深層生成モデルを用いて、前学習と後学習の神経活動の間の未知のマッピングを学習する。
我々は,カルシウム蛍光信号を前処理し,訓練し,評価するためのエンドツーエンドパイプラインを開発し,その結果の深層学習モデルを解釈する手法を開発した。
論文 参考訳（メタデータ） (2021-11-25T13:24:19Z) - Incremental Class Learning using Variational Autoencoders with
Similarity Learning [0.0]
漸進的な学習におけるニューラルネットワークの破滅的な忘れは、依然として難しい問題である。
本研究は,段階的な授業学習における4つのよく知られた計量に基づく損失関数の破滅的忘れについて検討する。
角損失はほとんど影響を受けず, 対照的に3重項損失, 中心損失は良好な鉱業技術であった。
論文 参考訳（メタデータ） (2021-10-04T10:19:53Z) - Spiking Neural Networks Hardware Implementations and Challenges: a
Survey [53.429871539789445]
スパイキングニューラルネットワークは、ニューロンとシナプスの操作原理を模倣する認知アルゴリズムである。
スパイキングニューラルネットワークのハードウェア実装の現状について述べる。
本稿では,これらのイベント駆動アルゴリズムの特性をハードウェアレベルで活用するための戦略について論じる。
論文 参考訳（メタデータ） (2020-05-04T13:24:00Z) - Triple Memory Networks: a Brain-Inspired Method for Continual Learning [35.40452724755021]
ニューラルネットワークは、新しいタスクを学ぶ際にパラメータを調整するが、古いタスクをうまく実行できない。
脳は破滅的な干渉なしに新しい経験を継続的に学習する能力を持っている。
このような脳戦略に触発されて、連続学習のための三重記憶ネットワーク(TMN)という新しいアプローチを提案する。
論文 参考訳（メタデータ） (2020-03-06T11:35:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。