論文の概要: Associative Memories via Predictive Coding

• arxiv url: http://arxiv.org/abs/2109.08063v1
• Date: Thu, 16 Sep 2021 15:46:26 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 13:52:26.723830
• Title: Associative Memories via Predictive Coding
• Title（参考訳）: 予測符号化による連想記憶
• Authors: Tommaso Salvatori, Yuhang Song, Yujian Hong, Simon Frieder, Lei Sha, Zhenghua Xu, Rafal Bogacz, Thomas Lukasiewicz
• Abstract要約: 脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、記憶する。 本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しいニューラルモデルを提案する。
• 参考スコア（独自算出の注目度）: 37.59398215921529
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Associative memories in the brain receive and store patterns of activity registered by the sensory neurons, and are able to retrieve them when necessary. Due to their importance in human intelligence, computational models of associative memories have been developed for several decades now. They include autoassociative memories, which allow for storing data points and retrieving a stored data point $s$ when provided with a noisy or partial variant of $s$, and heteroassociative memories, able to store and recall multi-modal data. In this paper, we present a novel neural model for realizing associative memories, based on a hierarchical generative network that receives external stimuli via sensory neurons. This model is trained using predictive coding, an error-based learning algorithm inspired by information processing in the cortex. To test the capabilities of this model, we perform multiple retrieval experiments from both corrupted and incomplete data points. In an extensive comparison, we show that this new model outperforms in retrieval accuracy and robustness popular associative memory models, such as autoencoders trained via backpropagation, and modern Hopfield networks. In particular, in completing partial data points, our model achieves remarkable results on natural image datasets, such as ImageNet, with a surprisingly high accuracy, even when only a tiny fraction of pixels of the original images is presented. Furthermore, we show that this method is able to handle multi-modal data, retrieving images from descriptions, and vice versa. We conclude by discussing the possible impact of this work in the neuroscience community, by showing that our model provides a plausible framework to study learning and retrieval of memories in the brain, as it closely mimics the behavior of the hippocampus as a memory index and generative model.
• Abstract（参考訳）: 脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、保存し、必要な時にそれらを取得することができる。 人間の知性において重要であることから、連想記憶の計算モデルが数十年にわたって開発されてきた。 これには、データポイントの保存とストアされたデータポイントの$s$の取得を可能にする自動連想メモリと、マルチモーダルデータの保存とリコールが可能なヘテロ連想メモリが含まれている。 本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しい神経モデルを提案する。 このモデルは、皮質における情報処理にインスパイアされたエラーベースの学習アルゴリズムである予測符号化を用いて訓練される。 このモデルの能力をテストするために,破損したデータポイントと不完全なデータポイントの両方から複数の検索実験を行う。 本研究では,バックプロパゲーションにより学習したオートエンコーダや,ホップフィールドネットワークなど,検索精度やロバスト性の高い連想記憶モデルよりも優れていることを示す。 特に,部分的データポイントの完了時には,原画像のごく一部しか表示されていない場合でも,imagenetなどの自然画像データセットに対して驚くほど高い精度で顕著な結果が得られる。 さらに,本手法はマルチモーダルデータを扱うことができ,記述から画像を取り出すことができ,その逆も可能であることを示す。 結論として,本モデルが脳内記憶の学習と検索に有効な枠組みを提供し,記憶指標と生成モデルとして海馬の行動と密接に類似していることを示し,神経科学コミュニティにおけるこの研究の影響について考察した。

関連論文リスト

• Modeling Visual Memorability Assessment with Autoencoders Reveals Characteristics of Memorable Images [2.4861619769660637]
  画像記憶可能性(英: Image memorability)とは、ある画像が他の画像よりも記憶されやすい現象である。 VGG16畳み込みニューラルネットワーク(CNN)に基づくオートエンコーダを用いた視覚記憶の主観的体験をモデル化した。 我々は,記憶可能性と復元誤差の関係について検討し,空間表現の特異性を評価するとともに,記憶可能性の予測を目的としたGRUモデルを開発した。
  論文  参考訳（メタデータ） (2024-10-19T22:58:33Z)
• Hierarchical Working Memory and a New Magic Number [1.024113475677323]
  本稿では,作業記憶のシナプス理論の枠組み内でチャンキングを行うための繰り返しニューラルネットワークモデルを提案する。 我々の研究は、認知に不可欠な脳内の情報のオンザフライ組織を理解するための、概念的で分析的な枠組みを提供する。
  論文  参考訳（メタデータ） (2024-08-14T16:03:47Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• MindBridge: A Cross-Subject Brain Decoding Framework [60.58552697067837]
  脳の復号化は、獲得した脳信号から刺激を再構築することを目的としている。 現在、脳の復号化はモデルごとのオブジェクトごとのパラダイムに限られている。 我々は,1つのモデルのみを用いることで,オブジェクト間脳デコーディングを実現するMindBridgeを提案する。
  論文  参考訳（メタデータ） (2024-04-11T15:46:42Z)
• Learning Multimodal Volumetric Features for Large-Scale Neuron Tracing [72.45257414889478]
  オーバーセグメントニューロン間の接続を予測し,人間の作業量を削減することを目的としている。 最初はFlyTracingという名前のデータセットを構築しました。 本稿では,高密度なボリュームEM画像の埋め込みを生成するための,新しい接続性を考慮したコントラスト学習手法を提案する。
  論文  参考訳（メタデータ） (2024-01-05T19:45:12Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Classification and Generation of real-world data with an Associative Memory Model [0.0]
  マルチモーダル・フレームワークを用いて,基本的な連想記憶モデルの能力を拡張する。 イメージとラベルの両方をモダリティとして保存することで、単一のメモリを使用してパターンを検索し、完了させることができる。
  論文  参考訳（メタデータ） (2022-07-11T12:51:27Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。