論文の概要: Memory Capacity of Recurrent Neural Networks with Matrix Representation
- arxiv url: http://arxiv.org/abs/2104.07454v3
- Date: Thu, 5 Oct 2023 03:47:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-06 23:43:17.464515
- Title: Memory Capacity of Recurrent Neural Networks with Matrix Representation
- Title（参考訳）: 行列表現を用いたリカレントニューラルネットワークのメモリ容量
- Authors: Animesh Renanse, Alok Sharma, Rohitash Chandra
- Abstract要約: 本稿では,行列型ニューラルネットワークにおけるフィッシャー情報に基づくメモリ容量の確率論的概念について検討する。
本稿では,外部メモリの出現時に導入されるネットワークのメモリ容量の増大について述べる。
外部メモリの追加により, Matrix NTMの性能が向上した。
- 参考スコア（独自算出の注目度）: 1.0978496459260902
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: It is well known that canonical recurrent neural networks (RNNs) face
limitations in learning long-term dependencies which have been addressed by
memory structures in long short-term memory (LSTM) networks. Neural Turing
machines (NTMs) are novel RNNs that implement the notion of programmable
computers with neural network controllers that can learn simple algorithmic
tasks. Matrix neural networks feature matrix representation which inherently
preserves the spatial structure of data when compared to canonical neural
networks that use vector-based representation. One may then argue that neural
networks with matrix representations may have the potential to provide better
memory capacity. In this paper, we define and study a probabilistic notion of
memory capacity based on Fisher information for matrix-based RNNs. We find
bounds on memory capacity for such networks under various hypotheses and
compare them with their vector counterparts. In particular, we show that the
memory capacity of such networks is bounded by $N^2$ for $N\times N$ state
matrix which generalizes the one known for vector networks. We also show and
analyze the increase in memory capacity for such networks which is introduced
when one exhibits an external state memory, such as NTMs. Consequently, we
construct NTMs with RNN controllers with matrix-based representation of
external memory, leading us to introduce Matrix NTMs. We demonstrate the
performance of this class of memory networks under certain algorithmic learning
tasks such as copying and recall and compare it with Matrix RNNs. We find an
improvement in the performance of Matrix NTMs by the addition of external
memory, in comparison to Matrix RNNs.
- Abstract（参考訳）: 長い短期記憶(LSTM)ネットワークでメモリ構造に対処された長期依存学習において、標準リカレントニューラルネットワーク(RNN)が制限に直面していることはよく知られている。
ニューラルチューリングマシン(英: Neural Turing Machine、NTM)は、単純なアルゴリズムタスクを学習できるニューラルネットワークコントローラを備えたプログラマブルコンピュータの概念を実装する新しいRNNである。
行列ニューラルネットワークは、ベクトルベース表現を使用する正準ニューラルネットワークと比較して、データ空間構造を本質的に保存する行列表現を特徴とする。
次に、行列表現を持つニューラルネットワークは、より良いメモリ容量を提供する可能性があると主張するかもしれない。
本稿では,行列ベースRNNにおけるフィッシャー情報に基づくメモリ容量の確率論的概念を定義し,検討する。
様々な仮説に基づくネットワークのメモリ容量の限界を見つけ、それらをベクトルのそれと比較する。
特に、そのようなネットワークのメモリ容量は、ベクトルネットワークで知られているものを一般化した$n^2$ for $n\times n$ state matrixで制限されていることを示す。
また,NTMなどの外部状態メモリの出現時に導入されるネットワークのメモリ容量の増加について,解析を行った。
その結果,外部メモリを行列ベースで表現した RNN コントローラを用いた NTM を構築し,行列 NTM を導入することができた。
本稿では,このクラスのメモリネットワークの性能を,コピーやリコールなどのアルゴリズム学習タスクで実証し,Matrix RNNと比較する。
マトリックスRNNと比較して,外部メモリの追加により,マトリックスNTMの性能が向上することがわかった。
関連論文リスト
- Memory-Efficient Reversible Spiking Neural Networks [8.05761813203348]
スパイキングニューラルネットワーク(SNN)は、人工知能ニューラルネットワーク(ANN)と競合する可能性がある
SNNは、より深いSNNモデルのトレーニングを妨げるANNよりもはるかに多くのメモリを必要とする。
本稿では、トレーニング中の中間活性化と膜電位のメモリコストを低減するために、可逆的なスパイクニューラルネットワークを提案する。
論文 参考訳（メタデータ） (2023-12-13T06:39:49Z) - Heterogenous Memory Augmented Neural Networks [84.29338268789684]
ニューラルネットワークのための新しいヘテロジニアスメモリ拡張手法を提案する。
学習可能なメモリトークンをアテンション機構付きで導入することにより、膨大な計算オーバーヘッドを伴わずに性能を効果的に向上させることができる。
In-distriion (ID) と Out-of-distriion (OOD) の両方の条件下での様々な画像およびグラフベースのタスクに対するアプローチを示す。
論文 参考訳（メタデータ） (2023-10-17T01:05:28Z) - NeuralMatrix: Compute the Entire Neural Networks with Linear Matrix Operations for Efficient Inference [20.404864470321897]
本稿では,ディープニューラルネットワーク(DNN)モデル全体の計算を線形行列演算に弾性的に変換するニューラルマトリックスを提案する。
CNNとトランスフォーマーベースのモデルによる実験は、広範囲のDNNモデルを正確かつ効率的に実行するためのNeuralMatrixの可能性を実証している。
このレベルの効率性は通常、特定のニューラルネットワーク用に設計されたアクセラレータでのみ達成できる。
論文 参考訳（メタデータ） (2023-05-23T12:03:51Z) - From Tensor Network Quantum States to Tensorial Recurrent Neural
Networks [0.0]
我々は,任意の行列積状態 (MPS) が線形メモリ更新を伴うリカレントニューラルネットワーク (RNN) によって正確に表現可能であることを示す。
我々は、このRNNアーキテクチャをマルチリニアメモリ更新を用いて2次元格子に一般化する。
論文 参考訳（メタデータ） (2022-06-24T16:25:36Z) - Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳（メタデータ） (2022-06-15T17:58:34Z) - CondenseNeXt: An Ultra-Efficient Deep Neural Network for Embedded
Systems [0.0]
畳み込みニューラルネットワーク(英: Convolutional Neural Network, CNN)は、画像センサが捉えた視覚画像の分析に広く用いられているディープニューラルネットワーク(DNN)のクラスである。
本稿では,組込みシステム上でのリアルタイム推論のために,既存のCNNアーキテクチャの性能を改善するために,深層畳み込みニューラルネットワークアーキテクチャの新しい変種を提案する。
論文 参考訳（メタデータ） (2021-12-01T18:20:52Z) - Binary Graph Neural Networks [69.51765073772226]
グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。
本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。
モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
論文 参考訳（メタデータ） (2020-12-31T18:48:58Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-10-19T15:28:00Z) - Text Classification based on Multi-granularity Attention Hybrid Neural
Network [4.718408602093766]
マルチグラニュラリティアテンションに基づくハイブリッドニューラルネットワーク(MahNN)という,新しい階層型マルチグラニュラリティアテンション機構に基づくハイブリッドアーキテクチャを提案する。
注目されるメカニズムは、ニューラルネットワークの計算効率と性能を高めるために、入力シーケンスの異なる部分に異なる重みを割り当てることである。
論文 参考訳（メタデータ） (2020-08-12T13:02:48Z) - Tensor train decompositions on recurrent networks [60.334946204107446]
マトリックス製品状態(MPS)テンソルトレインは、ストレージの削減と推論時の計算時間の観点から、MPOよりも魅力的な特徴を持つ。
理論解析により,MPSテンソル列車はLSTMネットワーク圧縮の最前線に置かれるべきであることを示す。
論文 参考訳（メタデータ） (2020-06-09T18:25:39Z) - Binarized Graph Neural Network [65.20589262811677]
我々は二項化グラフニューラルネットワークを開発し、二項化ネットワークパラメータを用いてノードのバイナリ表現を学習する。
提案手法は既存のGNNベースの埋め込み手法にシームレスに統合できる。
実験により、提案された二項化グラフニューラルネットワーク、すなわちBGNは、時間と空間の両方の観点から、桁違いに効率的であることが示されている。
論文 参考訳（メタデータ） (2020-04-19T09:43:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。