論文の概要: Content addressable memory without catastrophic forgetting by heteroassociation with a fixed scaffold

• arxiv url: http://arxiv.org/abs/2202.00159v1
• Date: Tue, 1 Feb 2022 00:24:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-02-03 01:51:16.937681
• Title: Content addressable memory without catastrophic forgetting by heteroassociation with a fixed scaffold
• Title（参考訳）: 固定足場とのヘテロ結合による破滅的記憶のないコンテンツアドレス記憶
• Authors: Sugandha Sharma, Sarthak Chandra, Ila R. Fiete
• Abstract要約: Hetero Association (MESH) による記憶障害 脳のEntorhinal-Hippocampalメモリ回路のアーキテクチャにより、MESHは2つの相互作用を持つ三部構造である。 解析的および実験的に、MESHはCAMネットワークの総情報量(シナプス数で表される)をほぼ飽和させることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content-addressable memory (CAM) networks, so-called because stored items can be recalled by partial or corrupted versions of the items, exhibit near-perfect recall of a small number of information-dense patterns below capacity and a `memory cliff' beyond, such that inserting a single additional pattern results in catastrophic forgetting of all stored patterns. We propose a novel ANN architecture, Memory Scaffold with Heteroassociation (MESH), that gracefully trades-off pattern richness with pattern number to generate a CAM continuum without a memory cliff: Small numbers of patterns are stored with complete information recovery matching standard CAMs, while inserting more patterns still results in partial recall of every pattern, with an information per pattern that scales inversely with the number of patterns. Motivated by the architecture of the Entorhinal-Hippocampal memory circuit in the brain, MESH is a tripartite architecture with pairwise interactions that uses a predetermined set of internally stabilized states together with heteroassociation between the internal states and arbitrary external patterns. We show analytically and experimentally that MESH nearly saturates the total information bound (given by the number of synapses) for CAM networks, invariant of the number of stored patterns, outperforming all existing CAM models.
• Abstract（参考訳）: content-addressable memory (cam) と呼ばれるネットワークは、格納されたアイテムを部分的または腐敗したバージョンでリコールできるため、容量以下の少数の情報拡散パターンと'メモリクリフ'のほとんど完全なリコールを示し、単一の追加パターンを挿入すると、すべての格納されたパターンを壊滅的に忘れてしまう。 少ない数のパターンは、完全な情報回復機能を備えた標準カムで保存され、より多くのパターンを挿入しても、パターン数と逆スケールするパターン毎の情報とともに、すべてのパターンを部分的にリコールする。 脳のエントルヒナル-海馬記憶回路のアーキテクチャに動機づけられたメッシュは、内部安定化状態の所定のセットと、内部状態と任意の外部パターンとのヘテロアソシエーションを使用するペアワイズ相互作用を持つ三部構成である。 解析的および実験的に、MESHはCAMネットワークの総情報バウンド(シナプス数で表される)をほぼ飽和し、記憶パターンの数に不変であり、既存のCAMモデルよりも優れていることを示す。

関連論文リスト

• Treating Brain-inspired Memories as Priors for Diffusion Model to Forecast Multivariate Time Series [16.315066774520524]
  人間の記憶機構からインスピレーションを得て、時間的パターンをよりよく捉えます。 脳にインスパイアされた記憶はセマンティックメモリとエピソードメモリから構成される。 脳にインスパイアされたメモリ拡張拡散モデルを提案する。
  論文  参考訳（メタデータ） (2024-09-27T07:09:40Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• B'MOJO: Hybrid State Space Realizations of Foundation Models with Eidetic and Fading Memory [91.81390121042192]
  我々はB'MOJOと呼ばれるモデル群を開発し、構成可能なモジュール内で理想的メモリと暗黙的メモリをシームレスに結合する。 B'MOJOのイデオティックメモリとフェードメモリを変調する能力は、32Kトークンまでテストされた長いシーケンスの推論をより良くする。
  論文  参考訳（メタデータ） (2024-07-08T18:41:01Z)
• Semantically-correlated memories in a dense associative model [2.7195102129095003]
  私はCorrelated Associative Memory(CDAM)という新しい連想記憶モデルを紹介します。 CDAMは、自動連想とヘテロ連想の両方を、連続的に評価されたメモリパターンのための統一されたフレームワークに統合する。 理論的、数値的に解析され、4つの異なる力学モードが明らかにされている。
  論文  参考訳（メタデータ） (2024-04-10T16:04:07Z)
• A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
  本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。 メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。 我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
  論文  参考訳（メタデータ） (2023-10-01T08:12:55Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• A Model or 603 Exemplars: Towards Memory-Efficient Class-Incremental Learning [56.450090618578]
  CIL(Class-Incremental Learning)は、この要件を満たすために、限られたメモリサイズでモデルをトレーニングすることを目的としている。 モデルサイズを総予算にカウントし,メモリサイズに整合する手法を比較すると,保存モデルは常に機能しないことを示す。 本稿では,メモリ効率のよい拡張可能なMOdelのための MEMO という,シンプルで効果的なベースラインを提案する。
  論文  参考訳（メタデータ） (2022-05-26T08:24:01Z)
• Memory-Guided Semantic Learning Network for Temporal Sentence Grounding [55.31041933103645]
  本稿では,TSGタスクにおいて稀に出現しないコンテンツを学習し,記憶するメモリ拡張ネットワークを提案する。 MGSL-Netは、クロスモーダル・インターアクション・モジュール、メモリ拡張モジュール、異種アテンション・モジュールの3つの主要な部分で構成されている。
  論文  参考訳（メタデータ） (2022-01-03T02:32:06Z)
• Memory-Gated Recurrent Networks [18.06135781227707]
  メモリゲートリカレントネットワーク(mGRN)と呼ばれる新しいリカレントネットワークアーキテクチャを構築する。 総合的なシミュレーション研究と実証実験を組み合わせることで,提案したmGRNアーキテクチャが最先端アーキテクチャより一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2020-12-24T06:04:14Z)
• Crowd Counting via Hierarchical Scale Recalibration Network [61.09833400167511]
  本稿では,群集カウントの課題に取り組むために,階層型大規模校正ネットワーク(HSRNet)を提案する。 HSRNetは、リッチなコンテキスト依存をモデル化し、複数のスケール関連情報を再検討する。 提案手法は,様々なノイズを選択的に無視し,適切な群集スケールに自動的に焦点を合わせることができる。
  論文  参考訳（メタデータ） (2020-03-07T10:06:47Z)
• Memorizing Comprehensively to Learn Adaptively: Unsupervised Cross-Domain Person Re-ID with Multi-level Memory [89.43986007948772]
  対象領域における多レベル補完情報を発見するための新しいマルチレベルメモリネットワーク(MMN)を提案する。 従来の単純なメモリとは違って、ターゲット領域内の複数レベル補完情報を検出するための新しいマルチレベルメモリネットワーク(MMN)を提案する。
  論文  参考訳（メタデータ） (2020-01-13T09:48:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。