論文の概要: Association: Remind Your GAN not to Forget
- arxiv url: http://arxiv.org/abs/2011.13553v2
- Date: Thu, 25 Mar 2021 09:35:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-20 02:14:00.948557
- Title: Association: Remind Your GAN not to Forget
- Title（参考訳）: Association:GANを忘れないようにします
- Authors: Yi Gu, Jie Li, Yuting Gao, Ruoxin Chen, Chentao Wu, Feiyang Cai, Chao
Wang, Zirui Zhang
- Abstract要約: 本稿では,連想学習過程を模倣して連続学習を実現する脳様アプローチを提案する。
画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を実験により実証した。
- 参考スコア（独自算出の注目度）: 11.653696510515807
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural networks are susceptible to catastrophic forgetting. They fail to
preserve previously acquired knowledge when adapting to new tasks. Inspired by
human associative memory system, we propose a brain-like approach that imitates
the associative learning process to achieve continual learning. We design a
heuristics mechanism to potentiatively stimulate the model, which guides the
model to recall the historical episodes based on the current circumstance and
obtained association experience. Besides, a distillation measure is added to
depressively alter the efficacy of synaptic transmission, which dampens the
feature reconstruction learning for new task. The framework is mediated by
potentiation and depression stimulation that play opposing roles in directing
synaptic and behavioral plasticity. It requires no access to the original data
and is more similar to human cognitive process. Experiments demonstrate the
effectiveness of our method in alleviating catastrophic forgetting on
image-to-image translation tasks.
- Abstract（参考訳）: ニューラルネットワークは破滅的な忘れやすい。
新しいタスクに適応する際、事前に獲得した知識を保存できない。
人間の連想記憶系に着想を得て,連想学習プロセスを模倣して連続学習を実現する脳的アプローチを提案する。
我々は,モデルが現在状況に基づいて過去のエピソードを思い出すよう誘導し,連想体験を得るためのヒューリスティックス機構を設計する。
また、新タスクの特徴再構築学習を阻害するシナプス伝達の有効性を抑えるために蒸留手段を付加する。
この枠組みは、シナプスと行動の可塑性を誘導する副次的な役割を担う増強と抑うつ刺激によって媒介される。
元のデータにアクセスする必要はなく、人間の認知プロセスに近い。
画像から画像への翻訳作業における破滅的忘れを緩和する手法の有効性を示す実験を行った。
関連論文リスト
- TACOS: Task Agnostic Continual Learning in Spiking Neural Networks [1.703671463296347]
破滅的な干渉は、新しい情報を学ぶ際に学習した情報が失われることであり、機械学習において依然として大きな課題である。
本研究では, シナプス結合やメタ可塑性などの神経誘発機構が, スパイク神経ネットワークにおける破滅的干渉を緩和することを示した。
我々のモデルであるTACOSは、神経変調と複雑なシナプス力学を組み合わせることで、以前の情報を保護しながら新しい学習を可能にする。
論文 参考訳（メタデータ） (2024-08-16T15:42:16Z) - Hebbian Learning based Orthogonal Projection for Continual Learning of
Spiking Neural Networks [74.3099028063756]
我々は,側方接続とヘビアン学習に基づくニューラル操作を用いた新しい手法を開発した。
我々は,反復する側方接続におけるヘビアン学習と反ヘビアン学習が,神経活動の主部分空間を効果的に抽出できることを示した。
我々の手法は、ほとんど忘れることなくニューラルネットワークをスパイクするために一貫して解決する。
論文 参考訳（メタデータ） (2024-02-19T09:29:37Z) - Wake-Sleep Consolidated Learning [9.596781985154927]
視覚分類タスクにおける深層ニューラルネットワークの性能向上を目的としたWake-Sleep Consolidated Learningを提案する。
本手法は、異なる覚醒相と睡眠相の同期を通して連続的に学習する。
提案手法の有効性を3つのベンチマークデータセットで評価した。
論文 参考訳（メタデータ） (2023-12-06T18:15:08Z) - Incremental procedural and sensorimotor learning in cognitive humanoid
robots [52.77024349608834]
本研究は,手順を段階的に学習する認知エージェントを提案する。
各サブステージで必要とされる認知機能と, エージェントが未解決の課題に, 新たな機能の追加がどう対処するかを示す。
結果は、このアプローチが複雑なタスクを段階的に解くことができることを示している。
論文 参考訳（メタデータ） (2023-04-30T22:51:31Z) - Continual learning benefits from multiple sleep mechanisms: NREM, REM,
and Synaptic Downscaling [51.316408685035526]
先行学習を失うことなく、新しいタスクやスキルを連続して学習することは、人工ニューラルネットワークと生物学的ニューラルネットワークの両方にとって、計算上の課題である。
本稿では,3つの異なる睡眠成分のモデル化が,人工ニューラルネットワークの連続学習にどのように影響するかを検討する。
論文 参考訳（メタデータ） (2022-09-09T13:45:27Z) - Anti-Retroactive Interference for Lifelong Learning [65.50683752919089]
我々は脳のメタラーニングと連想機構に基づく生涯学習のパラダイムを設計する。
知識の抽出と知識の記憶という2つの側面から問題に取り組む。
提案した学習パラダイムが,異なるタスクのモデルを同じ最適に収束させることができることを理論的に分析した。
論文 参考訳（メタデータ） (2022-08-27T09:27:36Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Learning by Active Forgetting for Neural Networks [36.47528616276579]
記憶と忘れのメカニズムは、人間の学習記憶システムにおいて、同じコインの2つの側面である。
現代の機械学習システムは、記憶を良くすることで、生涯にわたる学習能力を持つ機械を育むために取り組んできた。
本稿では,ニューラルネットワークを用いた能動的記憶機構による学習モデルを提案する。
論文 参考訳（メタデータ） (2021-11-21T14:55:03Z) - AFEC: Active Forgetting of Negative Transfer in Continual Learning [37.03139674884091]
生物学的ニューラルネットワークは、新しい経験の学習と矛盾する古い知識を積極的に忘れることができることを示す。
生物の能動的忘れをきっかけに,新たな課題の学習を制限し,継続的な学習に役立てる古い知識を積極的に忘れることを提案する。
論文 参考訳（メタデータ） (2021-10-23T10:03:19Z) - Learning offline: memory replay in biological and artificial
reinforcement learning [1.0136215038345011]
神経科学・AI分野におけるリプレイの機能的役割を概観する。
リプレイは生物学的ニューラルネットワークにおけるメモリ統合に重要である。
また、ディープニューラルネットワークにおける学習の安定化の鍵でもある。
論文 参考訳（メタデータ） (2021-09-21T08:57:19Z) - Artificial Neural Variability for Deep Learning: On Overfitting, Noise
Memorization, and Catastrophic Forgetting [135.0863818867184]
人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。
ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。
過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
論文 参考訳（メタデータ） (2020-11-12T06:06:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。