論文の概要: Content addressable memory without catastrophic forgetting by
heteroassociation with a fixed scaffold
- arxiv url: http://arxiv.org/abs/2202.00159v1
- Date: Tue, 1 Feb 2022 00:24:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-03 01:51:16.937681
- Title: Content addressable memory without catastrophic forgetting by
heteroassociation with a fixed scaffold
- Title(参考訳): 固定足場とのヘテロ結合による破滅的記憶のないコンテンツアドレス記憶
- Authors: Sugandha Sharma, Sarthak Chandra, Ila R. Fiete
- Abstract要約: Hetero Association (MESH) による記憶障害
脳のEntorhinal-Hippocampalメモリ回路のアーキテクチャにより、MESHは2つの相互作用を持つ三部構造である。
解析的および実験的に、MESHはCAMネットワークの総情報量(シナプス数で表される)をほぼ飽和させることを示した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Content-addressable memory (CAM) networks, so-called because stored items can
be recalled by partial or corrupted versions of the items, exhibit near-perfect
recall of a small number of information-dense patterns below capacity and a
`memory cliff' beyond, such that inserting a single additional pattern results
in catastrophic forgetting of all stored patterns. We propose a novel ANN
architecture, Memory Scaffold with Heteroassociation (MESH), that gracefully
trades-off pattern richness with pattern number to generate a CAM continuum
without a memory cliff: Small numbers of patterns are stored with complete
information recovery matching standard CAMs, while inserting more patterns
still results in partial recall of every pattern, with an information per
pattern that scales inversely with the number of patterns. Motivated by the
architecture of the Entorhinal-Hippocampal memory circuit in the brain, MESH is
a tripartite architecture with pairwise interactions that uses a predetermined
set of internally stabilized states together with heteroassociation between the
internal states and arbitrary external patterns. We show analytically and
experimentally that MESH nearly saturates the total information bound (given by
the number of synapses) for CAM networks, invariant of the number of stored
patterns, outperforming all existing CAM models.
- Abstract(参考訳): content-addressable memory (cam) と呼ばれるネットワークは、格納されたアイテムを部分的または腐敗したバージョンでリコールできるため、容量以下の少数の情報拡散パターンと'メモリクリフ'のほとんど完全なリコールを示し、単一の追加パターンを挿入すると、すべての格納されたパターンを壊滅的に忘れてしまう。
少ない数のパターンは、完全な情報回復機能を備えた標準カムで保存され、より多くのパターンを挿入しても、パターン数と逆スケールするパターン毎の情報とともに、すべてのパターンを部分的にリコールする。
脳のエントルヒナル-海馬記憶回路のアーキテクチャに動機づけられたメッシュは、内部安定化状態の所定のセットと、内部状態と任意の外部パターンとのヘテロアソシエーションを使用するペアワイズ相互作用を持つ三部構成である。
解析的および実験的に、MESHはCAMネットワークの総情報バウンド(シナプス数で表される)をほぼ飽和し、記憶パターンの数に不変であり、既存のCAMモデルよりも優れていることを示す。
関連論文リスト
- Understanding AI Cognition: A Neural Module for Inference Inspired by
Human Memory Mechanisms [10.094090483211966]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、作業と長期記憶から構成され、後者は、より蓄積された知識と経験を保持するために高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳(メタデータ) (2023-10-01T08:12:55Z) - Classification and Generation of real-world data with an Associative
Memory Model [0.0]
マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。
イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
論文 参考訳(メタデータ) (2022-07-11T12:51:27Z) - A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental
Learning [56.450090618578]
CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。
モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。
本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
論文 参考訳(メタデータ) (2022-05-26T08:24:01Z) - Universal Hopfield Networks: A General Framework for Single-Shot
Associative Memory Models [41.58529335439799]
本稿では,メモリネットワークの動作を3つの操作のシーケンスとして理解するための一般的なフレームワークを提案する。
これらのメモリモデルはすべて、類似性と分離関数が異なる一般的なフレームワークのインスタンスとして導出します。
論文 参考訳(メタデータ) (2022-02-09T16:48:06Z) - Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。
MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
論文 参考訳(メタデータ) (2022-01-03T02:32:06Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳(メタデータ) (2021-02-20T18:40:40Z) - Memory-Gated Recurrent Networks [18.06135781227707]
メモリゲートリカレントネットワーク(mGRN)と呼ばれる新しいリカレントネットワークアーキテクチャを構築する。
総合的なシミュレーション研究と実証実験を組み合わせることで,提案したmGRNアーキテクチャが最先端アーキテクチャより一貫して優れていることを示す。
論文 参考訳(メタデータ) (2020-12-24T06:04:14Z) - Crowd Counting via Hierarchical Scale Recalibration Network [61.09833400167511]
本稿では,群集カウントの課題に取り組むために,階層型大規模校正ネットワーク(HSRNet)を提案する。
HSRNetは、リッチなコンテキスト依存をモデル化し、複数のスケール関連情報を再検討する。
提案手法は,様々なノイズを選択的に無視し,適切な群集スケールに自動的に焦点を合わせることができる。
論文 参考訳(メタデータ) (2020-03-07T10:06:47Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳(メタデータ) (2020-02-10T03:27:48Z) - Memorizing Comprehensively to Learn Adaptively: Unsupervised
Cross-Domain Person Re-ID with Multi-level Memory [89.43986007948772]
対象領域における多レベル補完情報を発見するための新しいマルチレベルメモリネットワーク(MMN)を提案する。
従来の単純なメモリとは違って、ターゲット領域内の複数レベル補完情報を検出するための新しいマルチレベルメモリネットワーク(MMN)を提案する。
論文 参考訳(メタデータ) (2020-01-13T09:48:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。