論文の概要: SYNERgy between SYNaptic consolidation and Experience Replay for general
continual learning
- arxiv url: http://arxiv.org/abs/2206.04016v1
- Date: Wed, 8 Jun 2022 17:08:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:26:50.594411
- Title: SYNERgy between SYNaptic consolidation and Experience Replay for general
continual learning
- Title(参考訳): 総合学習におけるシナプス統合と体験リプレイの相乗効果
- Authors: Fahad Sarfraz, Elahe Arani, Bahram Zonooz
- Abstract要約: シンセプティック・コンソリデーションとデュアルメモリ・エクスペリエンス・リプレイ(SYNERgy)の相乗効果を生成する汎用CL法を提案する。
本手法は,タスク間で情報を蓄積・集約するセマンティックメモリを保守し,有効再生のためにエピソードメモリと相互作用する。
我々の知る限り、我々の研究は、トレーニングや推論においてネットワークがタスク境界やタスクラベルを使用せず、一般的なCLに適したシナプス統合とともに、初めてデュアルメモリ体験リプレイを採用する。
- 参考スコア(独自算出の注目度): 13.041607703862724
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Continual learning (CL) in the brain is facilitated by a complex set of
mechanisms. This includes the interplay of multiple memory systems for
consolidating information as posited by the complementary learning systems
(CLS) theory and synaptic consolidation for protecting the acquired knowledge
from erasure. Thus, we propose a general CL method that creates a synergy
between SYNaptic consolidation and dual memory Experience Replay (SYNERgy). Our
method maintains a semantic memory that accumulates and consolidates
information across the tasks and interacts with the episodic memory for
effective replay. It further employs synaptic consolidation by tracking the
importance of parameters during the training trajectory and anchoring them to
the consolidated parameters in the semantic memory. To the best of our
knowledge, our study is the first to employ dual memory experience replay in
conjunction with synaptic consolidation that is suitable for general CL whereby
the network does not utilize task boundaries or task labels during training or
inference. Our evaluation on various challenging CL scenarios and
characteristics analyses demonstrate the efficacy of incorporating both
synaptic consolidation and CLS theory in enabling effective CL in DNNs.
- Abstract(参考訳): 脳内の連続学習(cl)は、複雑なメカニズムによって促進される。
これには、補完学習システム(CLS)理論によって仮定された情報の統合のための複数のメモリシステムと、取得した知識を消去から保護するためのシナプス統合が含まれる。
そこで本研究では,SYNERgy(SYNERgy)とSynaptic Consolidationの相乗効果を生成する汎用CL手法を提案する。
本手法は,タスク間で情報を蓄積・集約するセマンティックメモリを保守し,有効再生のためにエピソードメモリと相互作用する。
さらに、トレーニング軌道中のパラメータの重要性を追跡し、それらをセマンティクスメモリ内の統合パラメータに固定することでシナプス統合も行う。
私たちの知識を最大限に活用するために,本研究では,ネットワークがトレーニングや推論中にタスク境界やタスクラベルを使用しない汎用的なclに適したシナプス統合と組み合わせて,デュアルメモリ体験リプレイを用いた最初の研究である。
様々な難易度CLシナリオと特徴分析の評価は,DNNにおける効果的なCLの実現にシナプス整合とCLS理論を併用することの有効性を示した。
関連論文リスト
- Interactive Continual Learning: Fast and Slow Thinking [18.363276470822427]
本稿では,対話型連続学習(Interactive Continual Learning, ICL)フレームワークを提案する。
System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。
また、ハードサンプルを特定するために、von Mises-Fisher Outlier Detection and Interaction (vMF-ODI)戦略を導入する。
論文 参考訳(メタデータ) (2024-03-05T03:37:28Z) - Wake-Sleep Consolidated Learning [9.596781985154927]
視覚分類タスクにおける深層ニューラルネットワークの性能向上を目的としたWake-Sleep Consolidated Learningを提案する。
本手法は、異なる覚醒相と睡眠相の同期を通して連続的に学習する。
提案手法の有効性を3つのベンチマークデータセットで評価した。
論文 参考訳(メタデータ) (2023-12-06T18:15:08Z) - Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。
この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文 参考訳(メタデータ) (2023-10-06T15:54:12Z) - Knowledge-Enhanced Hierarchical Information Correlation Learning for
Multi-Modal Rumor Detection [82.94413676131545]
マルチモーダルなうわさ検出のための知識強化型階層型情報相関学習手法(KhiCL)を提案する。
KhiCLは異質な一様性特徴を共通特徴空間に伝達するために、クロスモーダルな関節辞書を利用する。
画像やテキストから視覚的およびテキスト的実体を抽出し、知識関連推論戦略を設計する。
論文 参考訳(メタデータ) (2023-06-28T06:08:20Z) - Label Words are Anchors: An Information Flow Perspective for
Understanding In-Context Learning [77.7070536959126]
大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する
本稿では,情報フローレンズを用いたICLの動作機構について検討する。
本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-23T15:26:20Z) - Sparse Coding in a Dual Memory System for Lifelong Learning [13.041607703862724]
Brainは、重複しないスパースコードの情報を効率的にエンコードする。
我々はマルチメモリ再生機構においてスパース符号化を用いる。
本手法は,作業モデルのシナプス重みに符号化された情報を集約し,集約する,長期的セマンティックメモリを新たに維持する。
論文 参考訳(メタデータ) (2022-12-28T12:56:15Z) - Continual Learning, Fast and Slow [75.53144246169346]
補完学習システム理論(Complementary Learning Systems theory)によれば、人間は2つの相補的なシステムを通して効果的な共連続学習を行う。
EmphDualNets(Dual Networks)は、タスクの教師付き学習のための高速学習システムと、自己監視学習(SSL)によるタスク非依存の汎用表現の表現学習のための遅い学習システムからなる、一般的な連続学習フレームワークである。
我々はDualNetsの有望な成果を、標準的なオフラインタスク認識設定から、オンラインタスクフリーシナリオまで、幅広い連続的な学習プロトコルで実証する。
論文 参考訳(メタデータ) (2022-09-06T10:48:45Z) - Learning towards Synchronous Network Memorizability and Generalizability
for Continual Segmentation across Multiple Sites [52.84959869494459]
臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。
既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。
本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
論文 参考訳(メタデータ) (2022-06-14T13:04:36Z) - Learning Fast, Learning Slow: A General Continual Learning Method based
on Complementary Learning System [13.041607703862724]
本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。
決定境界を意味記憶と整合させながら、新たな知識を得る。
提案手法は,標準ベンチマークにおける最先端性能を実現する。
論文 参考訳(メタデータ) (2022-01-29T15:15:23Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳(メタデータ) (2021-03-17T08:28:30Z) - Continual Learning in Recurrent Neural Networks [67.05499844830231]
リカレントニューラルネットワーク(RNN)を用いた逐次データ処理における連続学習手法の有効性を評価する。
RNNに弾性重み強化などの重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重み-重
そこで本研究では,重み付け手法の性能が処理シーケンスの長さに直接的な影響を受けず,むしろ高動作メモリ要求の影響を受けていることを示す。
論文 参考訳(メタデータ) (2020-06-22T10:05:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。