論文の概要: Memory Capacity of Neural Turing Machines with Matrix Representation
- arxiv url: http://arxiv.org/abs/2104.07454v1
- Date: Sun, 11 Apr 2021 23:43:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-17 09:23:07.023789
- Title: Memory Capacity of Neural Turing Machines with Matrix Representation
- Title（参考訳）: 行列表現を用いたニューラルチューリングマシンのメモリ容量
- Authors: Animesh Renanse, Rohitash Chandra, Alok Sharma
- Abstract要約: RNNとNTMの行列表現によるメモリ容量の増大に関する研究(MatNTM)
本研究では,フィッシャー情報を用いたメモリ容量の確率モデルを用いて,行列表現ネットワークにおけるメモリ容量の制限について検討する。
実験の結果、MatNTMはそれと比較して学習能力が向上しました。
- 参考スコア（独自算出の注目度）: 1.0323063834827415
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is well known that recurrent neural networks (RNNs) faced limitations in
learning long-term dependencies that have been addressed by memory structures
in long short-term memory (LSTM) networks. Matrix neural networks feature
matrix representation which inherently preserves the spatial structure of data
and has the potential to provide better memory structures when compared to
canonical neural networks that use vector representation. Neural Turing
machines (NTMs) are novel RNNs that implement notion of programmable computers
with neural network controllers to feature algorithms that have copying,
sorting, and associative recall tasks. In this paper, we study the augmentation
of memory capacity with a matrix representation of RNNs and NTMs (MatNTMs). We
investigate if matrix representation has a better memory capacity than the
vector representations in conventional neural networks. We use a probabilistic
model of the memory capacity using Fisher information and investigate how the
memory capacity for matrix representation networks are limited under various
constraints, and in general, without any constraints. In the case of memory
capacity without any constraints, we found that the upper bound on memory
capacity to be $N^2$ for an $N\times N$ state matrix. The results from our
experiments using synthetic algorithmic tasks show that MatNTMs have a better
learning capacity when compared to its counterparts.
- Abstract（参考訳）: リカレントニューラルネットワーク(RNN)が、長期短期記憶(LSTM)ネットワークのメモリ構造によって対処された長期依存を学習する際の制限に直面したことはよく知られている。
マトリックスニューラルネットワークは、データ空間構造を本質的に保存するマトリックス表現を特徴とし、ベクトル表現を使用する標準ニューラルネットワークと比較して、より良いメモリ構造を提供する可能性がある。
neural turing machines (ntms)は、ニューラルネットワークコントローラを備えたプログラム可能なコンピュータの概念を実装し、コピー、ソート、連想リコールタスクを持つアルゴリズムを特徴付ける、新しいrnnである。
本稿では,RNNとNTM(MatNTM)の行列表現を用いたメモリ容量の増大について検討する。
行列表現が従来のニューラルネットワークのベクトル表現よりも優れたメモリ容量を持つかどうかを調べる。
本研究では,フィッシャー情報を用いたメモリ容量の確率モデルを用いて,行列表現ネットワークのメモリ容量が様々な制約下で,あるいは一般に制約なく制限されているかを検討する。
制約のないメモリ容量の場合、メモリ容量の上限は、$N\times N$ state matrixに対して$N^2$となる。
合成アルゴリズムを用いた実験の結果,MatNTMの学習能力は学習能力に優れていた。
関連論文リスト
- Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある
SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。
本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-13T06:39:49Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。
CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。
このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
論文 参考訳（メタデータ） (2023-05-23T12:03:51Z) - From Tensor Network Quantum States to Tensorial Recurrent Neural
Networks [0.0]
我々は,任意の行列積状態 (MPS) が線形メモリ更新を伴うリカレントニューラルネットワーク (RNN) によって正確に表現可能であることを示す。
我々は、このRNNアーキテクチャをマルチリニアメモリ更新を用いて2次元格子に一般化する。
論文 参考訳（メタデータ） (2022-06-24T16:25:36Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Text Classification based on Multi-granularity Attention Hybrid Neural
Network [4.718408602093766]
マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。
注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
論文 参考訳（メタデータ） (2020-08-12T13:02:48Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。