論文の概要: SYNERgy between SYNaptic consolidation and Experience Replay for general
continual learning
- arxiv url: http://arxiv.org/abs/2206.04016v1
- Date: Wed, 8 Jun 2022 17:08:56 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-09 13:26:50.594411
- Title: SYNERgy between SYNaptic consolidation and Experience Replay for general
continual learning
- Title（参考訳）: 総合学習におけるシナプス統合と体験リプレイの相乗効果
- Authors: Fahad Sarfraz, Elahe Arani, Bahram Zonooz
- Abstract要約: シンセプティック・コンソリデーションとデュアルメモリ・エクスペリエンス・リプレイ(SYNERgy)の相乗効果を生成する汎用CL法を提案する。
本手法は,タスク間で情報を蓄積・集約するセマンティックメモリを保守し,有効再生のためにエピソードメモリと相互作用する。
我々の知る限り、我々の研究は、トレーニングや推論においてネットワークがタスク境界やタスクラベルを使用せず、一般的なCLに適したシナプス統合とともに、初めてデュアルメモリ体験リプレイを採用する。
- 参考スコア（独自算出の注目度）: 13.041607703862724
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Continual learning (CL) in the brain is facilitated by a complex set of
mechanisms. This includes the interplay of multiple memory systems for
consolidating information as posited by the complementary learning systems
(CLS) theory and synaptic consolidation for protecting the acquired knowledge
from erasure. Thus, we propose a general CL method that creates a synergy
between SYNaptic consolidation and dual memory Experience Replay (SYNERgy). Our
method maintains a semantic memory that accumulates and consolidates
information across the tasks and interacts with the episodic memory for
effective replay. It further employs synaptic consolidation by tracking the
importance of parameters during the training trajectory and anchoring them to
the consolidated parameters in the semantic memory. To the best of our
knowledge, our study is the first to employ dual memory experience replay in
conjunction with synaptic consolidation that is suitable for general CL whereby
the network does not utilize task boundaries or task labels during training or
inference. Our evaluation on various challenging CL scenarios and
characteristics analyses demonstrate the efficacy of incorporating both
synaptic consolidation and CLS theory in enabling effective CL in DNNs.
- Abstract（参考訳）: 脳内の連続学習(cl)は、複雑なメカニズムによって促進される。
これには、補完学習システム(CLS)理論によって仮定された情報の統合のための複数のメモリシステムと、取得した知識を消去から保護するためのシナプス統合が含まれる。
そこで本研究では,SYNERgy(SYNERgy)とSynaptic Consolidationの相乗効果を生成する汎用CL手法を提案する。
本手法は,タスク間で情報を蓄積・集約するセマンティックメモリを保守し,有効再生のためにエピソードメモリと相互作用する。
さらに、トレーニング軌道中のパラメータの重要性を追跡し、それらをセマンティクスメモリ内の統合パラメータに固定することでシナプス統合も行う。
私たちの知識を最大限に活用するために,本研究では,ネットワークがトレーニングや推論中にタスク境界やタスクラベルを使用しない汎用的なclに適したシナプス統合と組み合わせて,デュアルメモリ体験リプレイを用いた最初の研究である。
様々な難易度CLシナリオと特徴分析の評価は,DNNにおける効果的なCLの実現にシナプス整合とCLS理論を併用することの有効性を示した。
関連論文リスト
- Integrating Temporal Representations for Dynamic Memory Retrieval and Management in Large Language Models [8.943924354248622]
我々は、シナプス力学をレトリーバル強化生成(RAG)に組み込む新しいアプローチであるSynapticRAGを提案する。
本手法は,会話から長期的文脈維持と特定の情報抽出を強化することで,文脈認識型対話型AIシステムを進化させる。
論文 参考訳（メタデータ） (2024-10-17T13:51:03Z) - Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning [99.05401042153214]
In-context Learning(ICL)は、タスク認識(TR)とタスク学習(TL)の2つの主要な能力に起因する可能性がある。
ICLの出現の事前学習のダイナミクスを調べることで、第一歩を踏み出す。
そこで本研究では,この2つの機能を推論時によりよく統合するための,シンプルで効果的な手法を提案する。
論文 参考訳（メタデータ） (2024-06-20T06:37:47Z) - Brain-Inspired Continual Learning-Robust Feature Distillation and Re-Consolidation for Class Incremental Learning [0.0]
本稿では, 特徴蒸留と再固化という2つの基本概念からなる新しい枠組みを提案する。
ロバスト・リハーサル(Robust Rehearsal)と名付けられた我々のフレームワークは、継続的な学習システムに固有の破滅的な忘れ込みの課題に対処する。
CIFAR10、CIFAR100、実世界のヘリコプター姿勢データセットで実施された実験は、ロバスト・リハーサルで訓練されたCLモデルの優れた性能を示す。
論文 参考訳（メタデータ） (2024-04-22T21:30:11Z) - A Unified and General Framework for Continual Learning [58.72671755989431]
継続学習(CL)は、以前取得した知識を維持しながら、動的かつ変化するデータ分布から学ぶことに焦点を当てている。
正規化ベース、ベイズベース、メモリ再生ベースなど、破滅的な忘れ込みの課題に対処する様々な手法が開発されている。
本研究の目的は,既存の方法論を包含し,整理する包括的かつ包括的な枠組みを導入することで,このギャップを埋めることである。
論文 参考訳（メタデータ） (2024-03-20T02:21:44Z) - Controllable Relation Disentanglement for Few-Shot Class-Incremental Learning [82.79371269942146]
本稿では,FewShot Class-Incremental Learning (FSCIL) を新たな視点,すなわち関係の絡み合いから扱うことを提案する。
急激な相関関係を切り離すことの課題は、FSCILの制御性が悪いことである。
我々は、CTRL-FSCIL(Controllable Relation-disentang FewShot Class-Incremental Learning)と呼ばれる、新しいシンプルな効果のある手法を提案する。
論文 参考訳（メタデータ） (2024-03-17T03:16:59Z) - Interactive Continual Learning: Fast and Slow Thinking [19.253164551254734]
本稿では,対話型連続学習フレームワークを提案する。
System1におけるメモリ検索を改善するために,von Mises-Fisher(vMF)分布に基づくCL-vMF機構を導入する。
提案したICLの包括的評価は,既存の手法と比較して,忘れられ,優れた性能を示す。
論文 参考訳（メタデータ） (2024-03-05T03:37:28Z) - Saliency-Guided Hidden Associative Replay for Continual Learning [13.551181595881326]
継続学習(Continuous Learning)は、人間の学習に似た一連のタスクを通じてニューラルネットワークをトレーニングすることに焦点を当てた、次世代AIの急成長する領域である。
本稿では,継続的学習のためのSaliency Guided Hidden Associative Replayを提案する。
この新しいフレームワークは、アソシエイトメモリをリプレイベースの戦略でシナジする。SHARCは主にスパースメモリエンコーディングを通じて、有能なデータセグメントをアーカイブする。
論文 参考訳（メタデータ） (2023-10-06T15:54:12Z) - Label Words are Anchors: An Information Flow Perspective for
Understanding In-Context Learning [77.7070536959126]
大規模言語モデル(LLM)の有望な能力としてインコンテキスト学習(ICL)が出現する
本稿では,情報フローレンズを用いたICLの動作機構について検討する。
本稿では,ICL性能向上のためのアンカー再重み付け手法,推論の高速化のための実演圧縮手法,GPT2-XLにおけるICLエラーの診断のための解析フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-23T15:26:20Z) - Learning towards Synchronous Network Memorizability and Generalizability
for Continual Segmentation across Multiple Sites [52.84959869494459]
臨床実践では、複数のサイトから連続的なデータストリームを継続的に学習するために、セグメンテーションネットワークが必要であることが多い。
既存の方法は、通常、以前のサイトのネットワーク記憶可能性や、目に見えないサイトの一般化可能性に制限される。
本稿では,SMG学習フレームワークの提案により,同期記憶可能性と一般化可能性の問題に取り組むことを目的とする。
論文 参考訳（メタデータ） (2022-06-14T13:04:36Z) - Learning Fast, Learning Slow: A General Continual Learning Method based
on Complementary Learning System [13.041607703862724]
本稿では,新しいデュアルメモリエクスペリエンス再生(ER)法であるCLS-ERを提案する。
決定境界を意味記憶と整合させながら、新たな知識を得る。
提案手法は,標準ベンチマークにおける最先端性能を実現する。
論文 参考訳（メタデータ） (2022-01-29T15:15:23Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。