論文の概要: Sparse Coding in a Dual Memory System for Lifelong Learning
- arxiv url: http://arxiv.org/abs/2301.05058v1
- Date: Wed, 28 Dec 2022 12:56:15 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-15 23:08:10.531049
- Title: Sparse Coding in a Dual Memory System for Lifelong Learning
- Title（参考訳）: 生涯学習用デュアルメモリシステムにおけるスパース符号化
- Authors: Fahad Sarfraz, Elahe Arani, Bahram Zonooz
- Abstract要約: Brainは、重複しないスパースコードの情報を効率的にエンコードする。
我々はマルチメモリ再生機構においてスパース符号化を用いる。
本手法は,作業モデルのシナプス重みに符号化された情報を集約し,集約する,長期的セマンティックメモリを新たに維持する。
- 参考スコア（独自算出の注目度）: 13.041607703862724
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Efficient continual learning in humans is enabled by a rich set of
neurophysiological mechanisms and interactions between multiple memory systems.
The brain efficiently encodes information in non-overlapping sparse codes,
which facilitates the learning of new associations faster with controlled
interference with previous associations. To mimic sparse coding in DNNs, we
enforce activation sparsity along with a dropout mechanism which encourages the
model to activate similar units for semantically similar inputs and have less
overlap with activation patterns of semantically dissimilar inputs. This
provides us with an efficient mechanism for balancing the reusability and
interference of features, depending on the similarity of classes across tasks.
Furthermore, we employ sparse coding in a multiple-memory replay mechanism. Our
method maintains an additional long-term semantic memory that aggregates and
consolidates information encoded in the synaptic weights of the working model.
Our extensive evaluation and characteristics analysis show that equipped with
these biologically inspired mechanisms, the model can further mitigate
forgetting.
- Abstract（参考訳）: ヒトの効果的な連続学習は、豊富な神経生理学的メカニズムと複数の記憶システム間の相互作用によって実現される。
脳は、重複しないスパース符号で情報を効率的にエンコードし、新しい関連をより早く学習し、以前の関連との干渉を制御する。
dnnにおけるスパースコーディングを模倣するために、モデルが意味的に類似した入力に対して類似のユニットを活性化することを奨励し、意味的に異なる入力のアクティベーションパターンとの重なりを少なくするドロップアウト機構と共に、アクティベーションスパーシティを強制する。
これにより、タスク間のクラスの類似性に応じて、機能の再利用性と干渉のバランスをとる効率的なメカニズムが得られます。
さらに,マルチメモリ再生機構においてスパース符号化を用いる。
本手法は,作業モデルのシナプス重みに符号化された情報を集約・集約する,長期記憶を付加する。
評価と特徴分析により,これらの生物学的にインスパイアされたメカニズムを取り入れたモデルにより,忘れの軽減が図られた。
関連論文リスト
- Demolition and Reinforcement of Memories in Spin-Glass-like Neural
Networks [0.0]
この論文の目的は、連想記憶モデルと生成モデルの両方において、アンラーニングの有効性を理解することである。
構造化データの選択により、連想記憶モデルは、相当量のアトラクションを持つニューラルダイナミクスのアトラクションとしての概念を検索することができる。
Boltzmann Machinesの新しい正規化手法が提案され、データセットから隠れ確率分布を学習する以前に開発された手法より優れていることが証明された。
論文 参考訳（メタデータ） (2024-03-04T23:12:42Z) - Single Neuromorphic Memristor closely Emulates Multiple Synaptic
Mechanisms for Energy Efficient Neural Networks [71.79257685917058]
我々はこれらのシナプス機能を本質的にエミュレートするSrTiO3に基づく膜状ナノデバイスを実証する。
これらのメムリスタは、安定かつエネルギー効率の良い運転を可能にする非定常低導電系で機能する。
論文 参考訳（メタデータ） (2024-02-26T15:01:54Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - On the Relationship Between Variational Inference and Auto-Associative
Memory [68.8204255655161]
本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。
得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
論文 参考訳（メタデータ） (2022-10-14T14:18:47Z) - Canonical Cortical Graph Neural Networks and its Application for Speech
Enhancement in Future Audio-Visual Hearing Aids [0.726437825413781]
本稿では, 層内変調を用いたマルチモーダル情報と正準相関解析(CCA)を組み合わせた, より生物学的に妥当な自己教師型機械学習手法を提案する。
この手法は、よりクリーンなオーディオ再構成とエネルギー効率の両方を考慮した最近の最先端の結果より優れており、スモーザーでスモーザーなニューロンの発火速度分布によって説明されている。
論文 参考訳（メタデータ） (2022-06-06T15:20:07Z) - An Adaptive Contrastive Learning Model for Spike Sorting [12.043679000694258]
神経科学研究においては、個々のニューロンの活動を分離することが重要である。
大規模なシリコン技術の発展に伴い、スパイクの人工的解釈とラベル付けはますます非現実的になりつつある。
対照的な学習を通してスパイクから表現を学習する新しいモデリングフレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-24T09:18:46Z) - Reducing Catastrophic Forgetting in Self Organizing Maps with
Internally-Induced Generative Replay [67.50637511633212]
生涯学習エージェントは、パターン知覚データの無限のストリームから継続的に学習することができる。
適応するエージェントを構築する上での歴史的難しさの1つは、ニューラルネットワークが新しいサンプルから学ぶ際に、以前取得した知識を維持するのに苦労していることである。
この問題は破滅的な忘れ(干渉)と呼ばれ、今日の機械学習の領域では未解決の問題のままである。
論文 参考訳（メタデータ） (2021-12-09T07:11:14Z) - Slow manifolds in recurrent networks encode working memory efficiently
and robustly [0.0]
ワーキングメモリ(working memory)は、潜在情報の保存と操作を短時間で行う認知機能である。
作業メモリのネットワークレベルメカニズムを調べるために,トップダウンモデリング手法を用いる。
論文 参考訳（メタデータ） (2021-01-08T18:47:02Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳（メタデータ） (2020-06-29T08:35:49Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z) - Brain-inspired self-organization with cellular neuromorphic computing
for multimodal unsupervised learning [0.0]
本稿では,自己組織マップとヘビアン様学習を用いた再突入理論に基づく脳刺激型ニューラルシステムを提案する。
システムトポロジがユーザによって固定されるのではなく,自己組織化によって学習されるような,いわゆるハードウェアの可塑性の獲得について述べる。
論文 参考訳（メタデータ） (2020-04-11T21:02:45Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。