論文の概要: Distributed Associative Memory Network with Memory Refreshing Loss
- arxiv url: http://arxiv.org/abs/2007.10637v3
- Date: Fri, 27 Aug 2021 04:43:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-08 03:55:53.334192
- Title: Distributed Associative Memory Network with Memory Refreshing Loss
- Title（参考訳）: メモリリフレッシュ損失を伴う分散連想メモリネットワーク
- Authors: Taewon Park, Inchul Choi, Minho Lee
- Abstract要約: メモリリフレッシングロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)について紹介する。
人間の脳の動作にインスパイアされた私たちのフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードします。
MRLにより、記憶されたメモリコンテンツから入力データを再生することにより、MANNは、入力データとタスク目的との関連性を強化することができる。
- 参考スコア（独自算出の注目度）: 5.5792083698526405
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite recent progress in memory augmented neural network (MANN) research,
associative memory networks with a single external memory still show limited
performance on complex relational reasoning tasks. Especially the content-based
addressable memory networks often fail to encode input data into rich enough
representation for relational reasoning and this limits the relation modeling
performance of MANN for long temporal sequence data. To address these problems,
here we introduce a novel Distributed Associative Memory architecture (DAM)
with Memory Refreshing Loss (MRL) which enhances the relation reasoning
performance of MANN. Inspired by how the human brain works, our framework
encodes data with distributed representation across multiple memory blocks and
repeatedly refreshes the contents for enhanced memorization similar to the
rehearsal process of the brain. For this procedure, we replace a single
external memory with a set of multiple smaller associative memory blocks and
update these sub-memory blocks simultaneously and independently for the
distributed representation of input data. Moreover, we propose MRL which
assists a task's target objective while learning relational information
existing in data. MRL enables MANN to reinforce an association between input
data and task objective by reproducing stochastically sampled input data from
stored memory contents. With this procedure, MANN further enriches the stored
representations with relational information. In experiments, we apply our
approaches to Differential Neural Computer (DNC), which is one of the
representative content-based addressing memory models and achieves the
state-of-the-art performance on both memorization and relational reasoning
tasks.
- Abstract（参考訳）: 近年のメモリ拡張ニューラルネットワーク(MANN)研究の進展にもかかわらず、単一の外部メモリを持つ連想メモリネットワークは、複雑なリレーショナル推論タスクにおいて限られた性能を示す。
特に、コンテンツベースのアドレス可能なメモリネットワークは、リレーショナル推論のための十分な表現に入力データをエンコードしないことが多いため、長い時間的シーケンスデータに対するMANNの関係モデリング性能は制限される。
そこで本研究では,MANNの関係推論性能を高めるために,メモリリフレッシュロス(MRL)を用いた分散連想メモリアーキテクチャ(DAM)を提案する。
人間の脳の動作にインスパイアされた我々のフレームワークは、複数のメモリブロックにまたがる分散表現でデータをエンコードし、脳のリハーサルプロセスと同様の記憶力を高めるために、コンテンツを繰り返し更新する。
この処理では、複数のより小さな連想メモリブロックに1つの外部メモリを置換し、入力データの分散表現に対して、これらのサブメモリブロックを同時にかつ独立的に更新する。
さらに,データに存在する関係情報を学習しながら,タスクの目標目標を支援するMRLを提案する。
MRLは、記憶されたメモリコンテンツから確率的にサンプリングされた入力データを再生することにより、MANNが入力データとタスク目標との関連性を強化することができる。
この手順により、MANNは格納された表現をさらに強化する。
実験では,記憶処理と関係推論の両方において最先端のパフォーマンスを実現する,代表的なコンテンツベースアドレッシングメモリモデルの一つであるディファレンシャル・ニューラル・コンピュータ(dnc)に本手法を適用した。
関連論文リスト
- A Framework for Inference Inspired by Human Memory Mechanisms [9.408704431898279]
本稿では,知覚,記憶,推論の構成要素からなるPMIフレームワークを提案する。
メモリモジュールは、ワーキングメモリと長期メモリから構成され、後者は、広範囲で複雑なリレーショナル知識と経験を維持するために、高次構造を備えている。
我々は、bAbI-20kやSolt-of-CLEVRデータセットのような質問応答タスクにおいて、一般的なTransformerとCNNモデルを改善するためにPMIを適用します。
論文 参考訳（メタデータ） (2023-10-01T08:12:55Z) - Enhancing Large Language Model with Self-Controlled Memory Framework [56.38025154501917]
大きな言語モデル(LLM)は、長い入力を処理できないため、重要な歴史的情報が失われる。
本稿では,LLMが長期記憶を維持し,関連する情報をリコールする能力を高めるための自己制御メモリ(SCM)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-04-26T07:25:31Z) - On the Relationship Between Variational Inference and Auto-Associative
Memory [68.8204255655161]
本フレームワークでは, 変動推論に対する異なるニューラルネットワークアプローチが適用可能であるかを検討する。
得られたアルゴリズムをCIFAR10とCLEVRの画像データセットで評価し,他の連想記憶モデルと比較した。
論文 参考訳（メタデータ） (2022-10-14T14:18:47Z) - Entropic Associative Memory for Manuscript Symbols [0.0]
マニュアルシンボルは、連想的で分散されているが宣言的でないエントロピーデジタルメモリから保存、認識、検索することができる。
完全情報と不完全情報の両方を用いてオブジェクトを検索するエントロピー連想メモリの動作特性について考察する。
論文 参考訳（メタデータ） (2022-02-17T02:29:33Z) - Semantically Constrained Memory Allocation (SCMA) for Embedding in
Efficient Recommendation Systems [27.419109620575313]
ディープラーニングモデルの重要な課題は、数百万のカテゴリクラスやトークンを扱うことだ。
本稿では,記憶の共有を意味情報の重なりに比例して共有する,新しいメモリ共有埋め込み方式を提案する。
性能を維持しながらメモリフットプリントの大幅な削減を示す。
論文 参考訳（メタデータ） (2021-02-24T19:55:49Z) - Kanerva++: extending The Kanerva Machine with differentiable, locally
block allocated latent memory [75.65949969000596]
エピソディックメモリとセマンティックメモリは、人間のメモリモデルの重要なコンポーネントです。
我々は、エピソードメモリとセマンティックメモリのギャップを埋める新しい原理ベイズメモリ割り当てスキームを開発しました。
この割り当て方式がメモリ条件画像生成の性能を向上させることを実証する。
論文 参考訳（メタデータ） (2021-02-20T18:40:40Z) - Neural Storage: A New Paradigm of Elastic Memory [4.307341575886927]
コンピュータメモリ内のデータの保存と検索は、システム性能において大きな役割を果たす。
我々は、脳にインスパイアされた学習記憶パラダイムであるNeural Storage(NS)を導入し、メモリをフレキシブルなニューラルメモリネットワークとして構成する。
NSは2つの代表アプリケーションに対してメモリアクセス性能を大幅に改善する。
論文 参考訳（メタデータ） (2021-01-07T19:19:25Z) - Memformer: A Memory-Augmented Transformer for Sequence Modeling [55.780849185884996]
本稿では、シーケンスモデリングのための効率的なニューラルネットワークであるMemformerを紹介する。
我々のモデルは長いシーケンスを処理する際に線形時間複雑性と一定メモリ空間複雑性を実現する。
論文 参考訳（メタデータ） (2020-10-14T09:03:36Z) - Robust High-dimensional Memory-augmented Neural Networks [13.82206983716435]
メモリ拡張ニューラルネットワークは、これらの問題を克服するために、明示的なメモリでニューラルネットワークを強化する。
この明示的なメモリへのアクセスは、各個々のメモリエントリを含むソフト読み取りおよび書き込み操作を介して行われる。
本稿では,高次元(HD)ベクトル上でのアナログインメモリ計算を行う明示メモリとして,計算メモリユニットを用いた頑健なアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-10-05T12:01:56Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z) - Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。
本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
論文 参考訳（メタデータ） (2020-01-31T11:14:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。