論文の概要: Reservoir Memory Machines as Neural Computers
- arxiv url: http://arxiv.org/abs/2009.06342v2
- Date: Mon, 19 Jul 2021 08:57:42 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 11:14:02.847109
- Title: Reservoir Memory Machines as Neural Computers
- Title(参考訳): ニューラルネットワークとしての記憶装置
- Authors: Benjamin Paa{\ss}en and Alexander Schulz and Terrence C. Stewart and
Barbara Hammer
- Abstract要約: 微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。
我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
- 参考スコア(独自算出の注目度): 70.5993855765376
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable neural computers extend artificial neural networks with an
explicit memory without interference, thus enabling the model to perform
classic computation tasks such as graph traversal. However, such models are
difficult to train, requiring long training times and large datasets. In this
work, we achieve some of the computational capabilities of differentiable
neural computers with a model that can be trained very efficiently, namely an
echo state network with an explicit memory without interference. This extension
enables echo state networks to recognize all regular languages, including those
that contractive echo state networks provably can not recognize. Further, we
demonstrate experimentally that our model performs comparably to its
fully-trained deep version on several typical benchmark tasks for
differentiable neural computers.
- Abstract(参考訳): 微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張し、グラフトラバースのような古典的な計算タスクを実行できる。
しかし、このようなモデルはトレーニングが難しく、長いトレーニング時間と大きなデータセットを必要とする。
本研究では,非常に効率的に学習できるモデル,すなわち明示的なメモリを伴わないエコー状態ネットワークを用いて,微分可能なニューラルコンピュータの計算能力を実現する。
この拡張により、エコー状態ネットワークは、契約型エコー状態ネットワークが確実に認識できないものを含む、すべての正規言語を認識できる。
さらに,本モデルが完全トレーニングされたディープバージョンに対して,微分可能なニューラルネットワークの典型的なベンチマークタスクで比較可能な性能を実証した。
関連論文リスト
- Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。
辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文 参考訳(メタデータ) (2022-06-15T17:58:34Z) - Gluing Neural Networks Symbolically Through Hyperdimensional Computing [8.209945970790741]
ニューラルネットワークの出力信号の最終的な分類を符号化するためにバイナリハイパーベクタを用いるという概念について検討する。
これにより、複数のニューラルネットワークが協力して問題を解決することができ、オーバーヘッドは少なくなる。
これは、非常に少ないオーバーヘッドを使用しながら、芸術の状態を上回り、あるいはそれと同等であることがわかった。
論文 参考訳(メタデータ) (2022-05-31T04:44:02Z) - Recurrent neural networks that generalize from examples and optimize by
dreaming [0.0]
オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。
ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。
注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
論文 参考訳(メタデータ) (2022-04-17T08:40:54Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳(メタデータ) (2022-02-01T17:11:13Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳(メタデータ) (2021-10-12T23:22:45Z) - Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。
これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
論文 参考訳(メタデータ) (2021-07-30T03:37:00Z) - Reservoir Stack Machines [77.12475691708838]
メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。
本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。
以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
論文 参考訳(メタデータ) (2021-05-04T16:50:40Z) - Nonlinear computations in spiking neural networks through multiplicative
synapses [3.1498833540989413]
非線形計算は、スパイクニューラルネットワークでうまく実装できる。
これは教師付きトレーニングを必要とし、その結果の接続性は解釈が難しい。
いくつかの非線形力学系において, 必要な接続性を直接導出する方法を示す。
論文 参考訳(メタデータ) (2020-09-08T16:47:27Z) - Incremental Training of a Recurrent Neural Network Exploiting a
Multi-Scale Dynamic Memory [79.42778415729475]
本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。
隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。
新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
論文 参考訳(メタデータ) (2020-06-29T08:35:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。