論文の概要: An Entropic Associative Memory
- arxiv url: http://arxiv.org/abs/2009.13058v1
- Date: Mon, 28 Sep 2020 04:24:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-13 21:59:40.388155
- Title: An Entropic Associative Memory
- Title（参考訳）: エントロピー的連想記憶
- Authors: Luis A. Pineda and Gibr\'an Fuentes and Rafael Morales
- Abstract要約: 我々は、個々のオブジェクトの表現を保持する連想メモリレジスタを検索するために、内在型決定型コンピューティングを使用する。
このシステムは手書き桁の表現を保持する視覚記憶のモデル化に使われている。
メモリ操作で回収されたcueとオブジェクトの類似性は、メモリレジスタのエントロピーに依存する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural memories are associative, declarative and distributed. Symbolic
computing memories resemble natural memories in their declarative character,
and information can be stored and recovered explicitly; however, they lack the
associative and distributed properties of natural memories. Sub-symbolic
memories developed within the connectionist or artificial neural networks
paradigm are associative and distributed, but are unable to express symbolic
structure and information cannot be stored and retrieved explicitly; hence,
they lack the declarative property. To address this dilemma, we use
Relational-Indeterminate Computing to model associative memory registers that
hold distributed representations of individual objects. This mode of computing
has an intrinsic computing entropy which measures the indeterminacy of
representations. This parameter determines the operational characteristics of
the memory. Associative registers are embedded in an architecture that maps
concrete images expressed in modality-specific buffers into abstract
representations, and vice versa, and the memory system as a whole fulfills the
three properties of natural memories. The system has been used to model a
visual memory holding the representations of hand-written digits, and
recognition and recall experiments show that there is a range of entropy
values, not too low and not too high, in which associative memory registers
have a satisfactory performance. The similarity between the cue and the object
recovered in memory retrieve operations depends on the entropy of the memory
register holding the representation of the corresponding object. The
experiments were implemented in a simulation using a standard computer, but a
parallel architecture may be built where the memory operations would take a
very reduced number of computing steps.
- Abstract（参考訳）: 自然記憶は連想的、宣言的、分散的である。
シンボリック・コンピューティング・メモリはその宣言的特徴において自然記憶に似ており、情報を明示的に保存して復元することができるが、それらは自然記憶の連想的および分散的特性を欠いている。
コネクショニストや人工ニューラルネットワークのパラダイム内で開発されたサブシンボリックメモリは、連想的かつ分散的だが、シンボル構造を表現することができず、情報を明示的に保存・取得することはできない。
このジレンマに対処するために、Relational-Indeterminate Computingを用いて、個々のオブジェクトの分散表現を保持する連想メモリレジスタをモデル化する。
この計算モードは、表現の不確定性を測定する固有の計算エントロピーを持つ。
このパラメータはメモリの動作特性を決定する。
連想レジスタは、モダリティ固有のバッファで表現された具体的な画像を抽象表現にマッピングするアーキテクチャに埋め込まれており、その逆もまた、メモリシステム全体が自然記憶の3つの特性を満たす。
このシステムは、手書きの数字の表現を保持する視覚的メモリのモデル化に使われており、認識とリコールの実験では、連想メモリレジスタが十分な性能を持つエントロピー値の範囲があることが示されている。
メモリ取得操作で回収されたcueとオブジェクトの類似性は、対応するオブジェクトの表現を保持するメモリレジスタのエントロピーに依存する。
実験は、標準的なコンピュータを使ったシミュレーションで実装されたが、メモリ操作が非常に少ない計算ステップを必要とする並列アーキテクチャを構築することができる。
関連論文リスト
- Entropic associative memory for real world images [0.7373617024876725]
EAMは,動物や車両の複雑なイメージを適切に保存し,認識し,検索する。
回収された物体は、適切な記憶、関連する記憶、想像の産物と見ることができる。
論文 参考訳（メタデータ） (2024-05-21T05:00:30Z) - Associative Memories in the Feature Space [68.1903319310263]
本稿では,低次元のセマンティック埋め込みのみを記憶するメモリモデルを提案する。
MNISTデータセット上の単純なタスクに対して,本手法の概念実証を行う。
論文 参考訳（メタデータ） (2024-02-16T16:37:48Z) - Discrete, compositional, and symbolic representations through attractor dynamics [51.20712945239422]
我々は,思考の確率的言語(PLoT)に似た認知過程をモデル化するために,アトラクタダイナミクスを記号表現と統合した新しいニューラルシステムモデルを導入する。
我々のモデルは、連続表現空間を、事前定義されたプリミティブに頼るのではなく、教師なし学習を通じて、記号系の意味性と構成性の特徴を反映する、記号列に対応する引き付け状態を持つ離散盆地に分割する。
このアプローチは、認知操作の複雑な双対性を反映したより包括的なモデルを提供する、AIにおける表現力の証明された神経弁別可能な基質であるニューラルダイナミクスを通じて、シンボル処理とサブシンボル処理の両方を統合する統一的なフレームワークを確立する。
論文 参考訳（メタデータ） (2023-10-03T05:40:56Z) - On the Relationship Between Variational Inference and Auto-Associative
Memory [68.8204255655161]
本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。
得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
論文 参考訳（メタデータ） (2022-10-14T14:18:47Z) - Entropic Associative Memory for Manuscript Symbols [0.0]
マニュアルシンボルは、連想的で分散されているが宣言的でないエントロピーデジタルメモリから保存、認識、検索することができる。
完全情報と不完全情報の両方を用いてオブジェクトを検索するエントロピー連想メモリの動作特性について考察する。
論文 参考訳（メタデータ） (2022-02-17T02:29:33Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-10-05T12:01:56Z) - Distributed Associative Memory Network with Memory Refreshing Loss [5.5792083698526405]
メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
論文 参考訳（メタデータ） (2020-07-21T07:34:33Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。