Fugu-MT 論文翻訳(概要): Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks

論文の概要: Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks

arxiv url: http://arxiv.org/abs/2111.13297v1
Date: Fri, 26 Nov 2021 02:47:51 GMT
ステータス: 処理完了
システム内更新日: 2021-11-30 01:10:22.022581
Title: Latent Space based Memory Replay for Continual Learning in Artificial Neural Networks
Title（参考訳）: ニューラルネットワークにおける連続学習のための潜在空間型メモリリプレイ
Authors: Haitz S\'aez de Oc\'ariz Borde
Abstract要約: 人工ニューラルネットワークを用いた分類における潜在空間ベースのメモリリプレイの適用について検討する。圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Memory replay may be key to learning in biological brains, which manage to learn new tasks continually without catastrophically interfering with previous knowledge. On the other hand, artificial neural networks suffer from catastrophic forgetting and tend to only perform well on tasks that they were recently trained on. In this work we explore the application of latent space based memory replay for classification using artificial neural networks. We are able to preserve good performance in previous tasks by storing only a small percentage of the original data in a compressed latent space version.
Abstract（参考訳）: メモリリプレイは、以前の知識と破滅的に干渉することなく、新しいタスクを継続的に学習する生物学的脳における学習の鍵となるかもしれない。一方、ニューラルネットワークは破滅的な忘れ込みに悩まされており、最近トレーニングされたタスクでのみうまく機能する傾向があります。本研究では,ニューラルネットワークを用いた分類のための潜在空間型メモリリプレイの応用について検討する。圧縮された潜在空間バージョンに、元のデータのごく一部だけを格納することで、従来のタスクの優れたパフォーマンスを維持できる。

関連論文リスト

Hebbian Learning based Orthogonal Projection for Continual Learning of Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文参考訳（メタデータ） (2024-02-19T09:29:37Z)
Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文参考訳（メタデータ） (2023-10-06T15:54:12Z)
Memoria: Resolving Fateful Forgetting Problem through Human-Inspired Memory Architecture [5.9360953869782325]
本稿では,人工ニューラルネットワークのメモリシステムであるMemoriaを紹介する。その結果, 分類, 言語モデリング, 分類の多様なタスクにおいて, Memoriaの有効性が証明された。エングラム分析により、記憶は人間の記憶の特徴である優位性、傾向、時間的連続効果を示すことが明らかとなった。
論文参考訳（メタデータ） (2023-10-04T09:40:46Z)
Self-recovery of memory via generative replay [0.8594140167290099]
本稿では,記憶を自律的に回復するための適応的,脳的な能力によって生成的リプレイを増強する新しいアーキテクチャを提案する。いくつかの継続的な学習タスクや環境にまたがって、アーキテクチャのこの能力を示す。
論文参考訳（メタデータ） (2023-01-15T07:28:14Z)
Saliency-Augmented Memory Completion for Continual Learning [8.243137410556495]
忘れる方法は、継続的な学習に対処しなければならない問題である。本稿では,連続学習のための新たなサリエンシ強化メモリ補完フレームワークを提案する。
論文参考訳（メタデータ） (2022-12-26T18:06:39Z)
Continual learning benefits from multiple sleep mechanisms: NREM, REM, and Synaptic Downscaling [51.316408685035526]
先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
論文参考訳（メタデータ） (2022-09-09T13:45:27Z)
Learning Bayesian Sparse Networks with Full Experience Replay for Continual Learning [54.7584721943286]
継続学習(CL)手法は、機械学習モデルが、以前にマスターされたタスクを壊滅的に忘れることなく、新しいタスクを学習できるようにすることを目的としている。既存のCLアプローチは、しばしば、事前に確認されたサンプルのバッファを保持し、知識蒸留を行い、あるいはこの目標に向けて正規化技術を使用する。我々は,現在および過去のタスクを任意の段階で学習するために,スパースニューロンのみを活性化し,選択することを提案する。
論文参考訳（メタデータ） (2022-02-21T13:25:03Z)
Reservoir Stack Machines [77.12475691708838]
メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
論文参考訳（メタデータ） (2021-05-04T16:50:40Z)
Replay in Deep Learning: Current Approaches and Missing Biological Elements [33.20770284464084]
リプレイは1つ以上の神経パターンの再活性化である。記憶形成、検索、統合において重要な役割を果たしていると考えられている。哺乳類の脳におけるリプレイと人工神経ネットワークにおけるリプレイの総合比較を行った。
論文参考訳（メタデータ） (2021-04-01T15:19:08Z)
Improving Computational Efficiency in Visual Reinforcement Learning via Stored Embeddings [89.63764845984076]
効率的な強化学習のためのストアド埋め込み(SEER)について紹介します。 SEERは、既存の非政治深層強化学習方法の簡単な修正です。計算とメモリを大幅に節約しながら、SEERがRLizableエージェントのパフォーマンスを低下させないことを示します。
論文参考訳（メタデータ） (2021-03-04T08:14:10Z)
Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。