論文の概要: Reservoir Memory Machines as Neural Computers

• arxiv url: http://arxiv.org/abs/2009.06342v2
• Date: Mon, 19 Jul 2021 08:57:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 11:14:02.847109
• Title: Reservoir Memory Machines as Neural Computers
• Title（参考訳）: ニューラルネットワークとしての記憶装置
• Authors: Benjamin Paa{\ss}en and Alexander Schulz and Terrence C. Stewart and Barbara Hammer
• Abstract要約: 微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
• 参考スコア（独自算出の注目度）: 70.5993855765376
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable neural computers extend artificial neural networks with an explicit memory without interference, thus enabling the model to perform classic computation tasks such as graph traversal. However, such models are difficult to train, requiring long training times and large datasets. In this work, we achieve some of the computational capabilities of differentiable neural computers with a model that can be trained very efficiently, namely an echo state network with an explicit memory without interference. This extension enables echo state networks to recognize all regular languages, including those that contractive echo state networks provably can not recognize. Further, we demonstrate experimentally that our model performs comparably to its fully-trained deep version on several typical benchmark tasks for differentiable neural computers.
• Abstract（参考訳）: 微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張し、グラフトラバースのような古典的な計算タスクを実行できる。 しかし、このようなモデルはトレーニングが難しく、長いトレーニング時間と大きなデータセットを必要とする。 本研究では,非常に効率的に学習できるモデル,すなわち明示的なメモリを伴わないエコー状態ネットワークを用いて,微分可能なニューラルコンピュータの計算能力を実現する。 この拡張により、エコー状態ネットワークは、契約型エコー状態ネットワークが確実に認識できないものを含む、すべての正規言語を認識できる。 さらに,本モデルが完全トレーニングされたディープバージョンに対して,微分可能なニューラルネットワークの典型的なベンチマークタスクで比較可能な性能を実証した。

関連論文リスト

• Unsupervised representation learning with Hebbian synaptic and structural plasticity in brain-like feedforward neural networks [0.0]
  教師なし表現学習が可能な脳様ニューラルネットワークモデルを導入,評価する。 このモデルは、一般的な機械学習ベンチマークのさまざまなセットでテストされた。
  論文  参考訳（メタデータ） (2024-06-07T08:32:30Z)
• Spiking representation learning for associative memories [0.0]
  本稿では、教師なし表現学習と連想記憶操作を行う新しい人工スパイクニューラルネットワーク(SNN)を提案する。 モデルの構造は新皮質列状構造から派生し,隠れた表現を学習するためのフィードフォワードプロジェクションと,連想記憶を形成するための繰り返しプロジェクションを組み合わせたものである。
  論文  参考訳（メタデータ） (2024-06-05T08:30:11Z)
• Graph Neural Networks for Learning Equivariant Representations of Neural Networks [55.04145324152541]
  本稿では,ニューラルネットワークをパラメータの計算グラフとして表現することを提案する。 我々のアプローチは、ニューラルネットワークグラフを多種多様なアーキテクチャでエンコードする単一モデルを可能にする。 本稿では,暗黙的ニューラル表現の分類や編集など,幅広いタスクにおける本手法の有効性を示す。
  論文  参考訳（メタデータ） (2024-03-18T18:01:01Z)
• Recurrent neural networks that generalize from examples and optimize by dreaming [0.0]
  オンライン学習のためのHebbの処方則に従って,ニューロン間のペア結合が構築される一般化されたホップフィールドネットワークを導入する。 ネットワークエクスペリエンスは、パターン毎にノイズの多いサンプルのサンプルで構成されたデータセットに過ぎません。 注目すべきは、睡眠メカニズムが常に正しく一般化するために必要なデータセットサイズを著しく削減することです。
  論文  参考訳（メタデータ） (2022-04-17T08:40:54Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Creating Powerful and Interpretable Models withRegression Networks [2.2049183478692584]
  本稿では,ニューラルネットワークのパワーと回帰分析の可視性を組み合わせた新しいアーキテクチャRegression Networksを提案する。 これらのモデルが,いくつかのベンチマークデータセット上での解釈可能なモデルの最先端性能を上回ることを実証する。
  論文  参考訳（メタデータ） (2021-07-30T03:37:00Z)
• Reservoir Stack Machines [77.12475691708838]
  メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
  論文  参考訳（メタデータ） (2021-05-04T16:50:40Z)
• Incremental Training of a Recurrent Neural Network Exploiting a Multi-Scale Dynamic Memory [79.42778415729475]
  本稿では,マルチスケール学習を対象とする,漸進的に訓練された再帰的アーキテクチャを提案する。 隠れた状態を異なるモジュールに分割することで、シンプルなRNNのアーキテクチャを拡張する方法を示す。 新しいモジュールがモデルに反復的に追加され、徐々に長い依存関係を学習するトレーニングアルゴリズムについて議論する。
  論文  参考訳（メタデータ） (2020-06-29T08:35:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。