論文の概要: Memory and attention in deep learning
- arxiv url: http://arxiv.org/abs/2107.01390v1
- Date: Sat, 3 Jul 2021 09:21:13 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-07 09:35:03.764498
- Title: Memory and attention in deep learning
- Title（参考訳）: 深層学習における記憶と注意
- Authors: Hung Le
- Abstract要約: マシンのメモリ構成は避けられない。
ディープラーニングにおけるメモリモデリングの最近の進歩は、外部メモリ構築を中心に展開されている。
この論文の目的は、深層学習における記憶と注意に対する理解を深めることである。
- 参考スコア（独自算出の注目度）: 19.70919701635945
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Intelligence necessitates memory. Without memory, humans fail to perform
various nontrivial tasks such as reading novels, playing games or solving
maths. As the ultimate goal of machine learning is to derive intelligent
systems that learn and act automatically just like human, memory construction
for machine is inevitable. Artificial neural networks model neurons and
synapses in the brain by interconnecting computational units via weights, which
is a typical class of machine learning algorithms that resembles memory
structure. Their descendants with more complicated modeling techniques (a.k.a
deep learning) have been successfully applied to many practical problems and
demonstrated the importance of memory in the learning process of machinery
systems. Recent progresses on modeling memory in deep learning have revolved
around external memory constructions, which are highly inspired by
computational Turing models and biological neuronal systems. Attention
mechanisms are derived to support acquisition and retention operations on the
external memory. Despite the lack of theoretical foundations, these approaches
have shown promises to help machinery systems reach a higher level of
intelligence. The aim of this thesis is to advance the understanding on memory
and attention in deep learning. Its contributions include: (i) presenting a
collection of taxonomies for memory, (ii) constructing new memory-augmented
neural networks (MANNs) that support multiple control and memory units, (iii)
introducing variability via memory in sequential generative models, (iv)
searching for optimal writing operations to maximise the memorisation capacity
in slot-based memory networks, and (v) simulating the Universal Turing Machine
via Neural Stored-program Memory-a new kind of external memory for neural
networks.
- Abstract（参考訳）: 知性は記憶を必要とする。
記憶がなければ、人間は小説を読む、ゲームをする、数学を解くなど、様々な非自明なタスクを実行できない。
機械学習の最終的な目標は、人間のように学習し、自動的に行動するインテリジェントなシステムを導出することであり、マシンのメモリ構築は避けられない。
ニューラルネットワークは、記憶構造に似た機械学習アルゴリズムの典型的なクラスである重みによる計算単位の相互接続によって、脳内のニューロンとシナプスをモデル化する。
より複雑なモデリング技術(ディープラーニング)を備えた子孫は、多くの実用的な問題にうまく適用され、機械システムの学習プロセスにおいて記憶の重要性を実証してきた。
深層学習におけるメモリモデリングの最近の進歩は、計算チューリングモデルや生体神経系に非常にインスパイアされた外部記憶構造を中心に展開している。
注意機構は、外部メモリの取得および保持操作をサポートするために導出される。
理論的基盤が欠如しているにもかかわらず、これらのアプローチは機械システムがより高いレベルの知性に達するのを助けることを約束している。
本論文の目的は,深層学習における記憶と注意の理解を深めることである。
Its contributions include: (i) presenting a collection of taxonomies for memory, (ii) constructing new memory-augmented neural networks (MANNs) that support multiple control and memory units, (iii) introducing variability via memory in sequential generative models, (iv) searching for optimal writing operations to maximise the memorisation capacity in slot-based memory networks, and (v) simulating the Universal Turing Machine via Neural Stored-program Memory-a new kind of external memory for neural networks.
関連論文リスト
- Enhancing Length Extrapolation in Sequential Models with Pointer-Augmented Neural Memory [66.88278207591294]
本稿では,新しいより長いデータ列に対して,ニューラルネットワークによるシンボル処理の理解と適用を支援するために,Pointer-Augmented Neural Memory (PANM)を提案する。
PANMは、新しい物理アドレスとポインタ操作技術を使用して、人間とコンピュータのシンボル処理能力を模倣する外部のニューラルメモリを統合する。
論文 参考訳（メタデータ） (2024-04-18T03:03:46Z) - Survey on Memory-Augmented Neural Networks: Cognitive Insights to AI
Applications [4.9008611361629955]
メモリ拡張ニューラルネットワーク(MANN)は、ヒューマンライクなメモリプロセスをAIに混ぜる。
本研究は, ホップフィールドネットワーク, ニューラルチューリングマシン, 相関行列記憶, メムフォーマ, ニューラルアテンション記憶などの高度なアーキテクチャについて検討した。
自然言語処理、コンピュータビジョン、マルチモーダルラーニング、検索モデルにまたがるMANNの現実的利用に潜んでいる。
論文 参考訳（メタデータ） (2023-12-11T06:05:09Z) - Retentive or Forgetful? Diving into the Knowledge Memorizing Mechanism
of Language Models [49.39276272693035]
大規模事前学習型言語モデルは、顕著な記憶能力を示している。
プレトレーニングのないバニラニューラルネットワークは、破滅的な忘れ物問題に悩まされていることが長年観察されてきた。
1)バニラ言語モデルは忘れがちである; 2)事前学習は暗黙の言語モデルにつながる; 3)知識の妥当性と多様化は記憶形成に大きな影響を及ぼす。
論文 参考訳（メタデータ） (2023-05-16T03:50:38Z) - Sequence learning in a spiking neuronal network with memristive synapses [0.0]
脳計算の中心にある中核的な概念は、シーケンス学習と予測である。
ニューロモルフィックハードウェアは、脳が情報を処理する方法をエミュレートし、ニューロンとシナプスを直接物理的基質にマッピングする。
シークエンス学習モデルにおける生物学的シナプスの代替としてReRAMデバイスを使用することの可能性について検討する。
論文 参考訳（メタデータ） (2022-11-29T21:07:23Z) - A bio-inspired implementation of a sparse-learning spike-based
hippocampus memory model [0.0]
本研究では,海馬に基づくバイオインスパイアされた新しい記憶モデルを提案する。
記憶を覚えたり、キューから思い出したり、同じキューで他の人を学ぼうとする時の記憶を忘れたりできる。
この研究は、完全に機能するバイオインスパイアされたスパイクベースの海馬記憶モデルの最初のハードウェア実装を示す。
論文 参考訳（メタデータ） (2022-06-10T07:48:29Z) - Memory-enriched computation and learning in spiking neural networks
through Hebbian plasticity [9.453554184019108]
ヘビアン可塑性は生物学的記憶において重要な役割を担っていると考えられている。
本稿では,ヘビーンのシナプス可塑性に富む新しいスパイクニューラルネットワークアーキテクチャを提案する。
ヘビーンの豊かさは、ニューラルネットワークの計算能力と学習能力の点で驚くほど多彩であることを示す。
論文 参考訳（メタデータ） (2022-05-23T12:48:37Z) - CogNGen: Constructing the Kernel of a Hyperdimensional Predictive
Processing Cognitive Architecture [79.07468367923619]
神経生物学的に妥当な2つの計算モデルを組み合わせた新しい認知アーキテクチャを提案する。
我々は、現代の機械学習技術の力を持つ認知アーキテクチャを開発することを目指している。
論文 参考訳（メタデータ） (2022-03-31T04:44:28Z) - A Neural Dynamic Model based on Activation Diffusion and a
Micro-Explanation for Cognitive Operations [4.416484585765028]
記憶の神経機構は、人工知能における表現の問題と非常に密接な関係を持っている。
脳内のニューロンのネットワークとその情報処理のシミュレーションを行う計算モデルが提案された。
論文 参考訳（メタデータ） (2020-11-27T01:34:08Z) - Neurocoder: Learning General-Purpose Computation Using Stored Neural
Programs [64.56890245622822]
ニューロコーダ(Neurocoder)は、汎用計算機の全く新しいクラスである。
共有可能なモジュール型プログラムのセットから関連するプログラムを構成することで、データ応答性のある方法で“コード”を行う。
モジュールプログラムを学習し、パターンシフトを厳しく処理し、新しいプログラムが学習されると、古いプログラムを記憶する新しい能力を示す。
論文 参考訳（メタデータ） (2020-09-24T01:39:16Z) - Reservoir Memory Machines as Neural Computers [70.5993855765376]
微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
論文 参考訳（メタデータ） (2020-09-14T12:01:30Z) - Self-Attentive Associative Memory [69.40038844695917]
我々は、個々の体験(記憶)とその発生する関係(関連記憶)の記憶を分離することを提案する。
機械学習タスクの多様性において,提案した2メモリモデルと競合する結果が得られる。
論文 参考訳（メタデータ） (2020-02-10T03:27:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。