論文の概要: Competitive learning to generate sparse representations for associative
memory
- arxiv url: http://arxiv.org/abs/2301.02196v1
- Date: Thu, 5 Jan 2023 17:57:52 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-06 14:01:33.304528
- Title: Competitive learning to generate sparse representations for associative
memory
- Title(参考訳): 連想記憶のためのスパース表現を生成する競争学習
- Authors: Luis Sacouto and Andreas Wichert
- Abstract要約: 本稿では,連想記憶に適したコードに画像をエンコードする生物学的にもっともらしいネットワークを提案する。
局所受容野を専門とする神経細胞のグループに編成され、競争的なスキームを通じて学習する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: One of the most well established brain principles, hebbian learning, has led
to the theoretical concept of neural assemblies. Based on it, many interesting
brain theories have spawned. Palm's work implements this concept through binary
associative memory, in a model that not only has a wide cognitive explanatory
power but also makes neuroscientific predictions. Yet, associative memory can
only work with logarithmic sparse representations, which makes it extremely
difficult to apply the model to real data. We propose a biologically plausible
network that encodes images into codes that are suitable for associative
memory. It is organized into groups of neurons that specialize on local
receptive fields, and learn through a competitive scheme. After conducting
auto- and hetero-association experiments on two visual data sets, we can
conclude that our network not only beats sparse coding baselines, but also that
it comes close to the performance achieved using optimal random codes.
- Abstract(参考訳): 最も確立された脳の原則の1つは、ヘビー学習であり、神経集合の理論的な概念に繋がった。
このことから、多くの興味深い脳理論が生まれている。
パームの研究は、認知説明力の広いだけでなく、神経科学的な予測を行うモデルにおいて、バイナリ連想記憶を通じてこの概念を実装している。
しかし、連想記憶は対数的スパース表現でしか動作できないため、実際のデータにモデルを適用することは極めて困難である。
本稿では,連想記憶に適したコードに画像をエンコードする生物学的に有効なネットワークを提案する。
局所受容野を専門とする神経細胞のグループに分けられ、競争的なスキームを通じて学習される。
2つの視覚的データセットで自己結合実験とヘテロ結合実験を行った結果,ネットワークはスパース符号化ベースラインを上回っているだけでなく,最適なランダムコードを用いて達成された性能に近いという結論が得られた。
関連論文リスト
- Sequential Memory with Temporal Predictive Coding [6.228559238589584]
時空間予測符号化 (tPC) という, PC を用いた時空間メモリモデルを提案する。
我々のtPCモデルは、生物学的に妥当なニューラル実装を用いて、シーケンシャルな入力を正確に記憶し、取得できることを示します。
論文 参考訳(メタデータ) (2023-05-19T20:03:31Z) - Implementing engrams from a machine learning perspective: matching for
prediction [0.0]
ニューラルネットワークを用いてエングラムを実装するコンピュータシステムを設計する方法について提案する。
オートエンコーダをベースとして,情報を圧縮形式で保存・検索するためのインデックスとして潜時ニューラルネットワークを提案する。
我々は、異なるタイプの感覚入力に対応する潜時神経空間における異なる状態が同期活性化によってどのようにリンクされるかを検討する。
論文 参考訳(メタデータ) (2023-03-01T10:05:40Z) - Measures of Information Reflect Memorization Patterns [53.71420125627608]
異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。
重要なことは、情報組織が記憶の2つの形態を指していることである。
論文 参考訳(メタデータ) (2022-10-17T20:15:24Z) - Mapping and Validating a Point Neuron Model on Intel's Neuromorphic
Hardware Loihi [77.34726150561087]
インテルの第5世代ニューロモルフィックチップ「Loihi」の可能性について検討する。
Loihiは、脳内のニューロンをエミュレートするスパイキングニューラルネットワーク(SNN)という新しいアイデアに基づいている。
Loihiは従来のシミュレーションを非常に効率的に再現し、ネットワークが大きくなるにつれて、時間とエネルギーの両方のパフォーマンスにおいて顕著にスケールする。
論文 参考訳(メタデータ) (2021-09-22T16:52:51Z) - Associative Memories via Predictive Coding [37.59398215921529]
脳内の連想記憶は感覚ニューロンによって登録された活動パターンを受信し、記憶する。
本稿では,知覚ニューロンを介して外部刺激を受ける階層的生成ネットワークに基づいて,連想記憶を実現する新しいニューラルモデルを提案する。
論文 参考訳(メタデータ) (2021-09-16T15:46:26Z) - Hierarchical Associative Memory [2.66512000865131]
Associative Memories や Modern Hopfield Networks は、多くの魅力的な特性を持っている。
パターン補完を行い、多数のメモリを格納し、リカレントニューラルネットワークを使用して記述することができる。
本稿では,任意の数のレイヤを持つ連想メモリの完全再帰モデルについて述べる。
論文 参考訳(メタデータ) (2021-07-14T01:38:40Z) - One-shot learning of paired association navigation with biologically
plausible schemas [4.281091463408283]
複数のペア・アソシエーション・ナビゲーションタスクにおける一発一発学習はスキーマに依存していると仮定されている。
ここでは、生物学的に妥当なニューラル実装を持つスキーマからそのようなエージェントを構成する。
アクター批判を追加することで、障害が直接の進路を妨げたとしても、エージェントは成功する。
論文 参考訳(メタデータ) (2021-06-07T13:03:51Z) - Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs [64.56890245622822]
ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。
共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。
モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
論文 参考訳(メタデータ) (2020-09-24T01:39:16Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳(メタデータ) (2020-09-14T12:01:30Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳(メタデータ) (2020-02-10T03:27:48Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳(メタデータ) (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。