論文の概要: Reservoir Stack Machines

• arxiv url: http://arxiv.org/abs/2105.01616v2
• Date: Mon, 26 Jul 2021 08:08:30 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-01 15:25:25.069778
• Title: Reservoir Stack Machines
• Title（参考訳）: 貯水池スタックマシン
• Authors: Benjamin Paa{\ss}en and Alexander Schulz and Barbara Hammer
• Abstract要約: メモリ拡張ニューラルネットワークは、情報ストレージを必要とするタスクをサポートするために、明示的なメモリを備えたリカレントニューラルネットワークを備える。 本研究では,全ての決定論的文脈自由言語を確実に認識できるモデルである貯水池スタックマシンを導入する。 以上の結果から, 貯水池スタックマシンは, 訓練データよりも長い試験シーケンスでもゼロ誤差を達成できることがわかった。
• 参考スコア（独自算出の注目度）: 77.12475691708838
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Memory-augmented neural networks equip a recurrent neural network with an explicit memory to support tasks that require information storage without interference over long times. A key motivation for such research is to perform classic computation tasks, such as parsing. However, memory-augmented neural networks are notoriously hard to train, requiring many backpropagation epochs and a lot of data. In this paper, we introduce the reservoir stack machine, a model which can provably recognize all deterministic context-free languages and circumvents the training problem by training only the output layer of a recurrent net and employing auxiliary information during training about the desired interaction with a stack. In our experiments, we validate the reservoir stack machine against deep and shallow networks from the literature on three benchmark tasks for Neural Turing machines and six deterministic context-free languages. Our results show that the reservoir stack machine achieves zero error, even on test sequences longer than the training data, requiring only a few seconds of training time and 100 training sequences.
• Abstract（参考訳）: メモリ提供ニューラルネットワークは、長時間にわたって干渉することなく情報ストレージを必要とするタスクをサポートするために、リカレントニューラルネットワークに明示的なメモリを供給する。 このような研究の重要な動機は、解析などの古典的な計算タスクを実行することである。 しかし、メモリ型ニューラルネットワークはトレーニングが難しいことで悪名高く、多くのバックプロパゲーション時代と大量のデータを必要とする。 本稿では,リカレントネットの出力層のみを訓練し,所望のスタックとの相互作用に関する訓練中に補助情報を活用することにより,決定論的文脈自由言語をすべて確実に認識し,学習問題を回避できるモデルであるリザーバスタックマシンを提案する。 実験では,ニューラルネットワークチューリングマシンと6つの決定論的文脈自由言語のための3つのベンチマークタスクの文献から,深層および浅層ネットワークに対する貯留層スタックマシンの検証を行った。 その結果,リザーバスタックマシンは,トレーニングデータよりも長いテストシーケンスでもエラーがゼロとなり,わずか数秒のトレーニング時間と100のトレーニングシーケンスが必要となった。

関連論文リスト

• OLLA: Decreasing the Memory Usage of Neural Networks by Optimizing the Lifetime and Location of Arrays [6.418232942455968]
  OLLAは、ニューラルネットワークのトレーニングに使用されるテンソルの寿命とメモリ位置を最適化するアルゴリズムである。 問題のエンコーディングを単純化し、最先端のニューラルネットワークのサイズにスケールするためのアプローチを可能にするために、いくつかの手法を提案する。
  論文  参考訳（メタデータ） (2022-10-24T02:39:13Z)
• Measures of Information Reflect Memorization Patterns [53.71420125627608]
  異なるニューロンの活性化パターンの多様性は、モデル一般化と記憶の反映であることを示す。 重要なことは、情報組織が記憶の2つの形態を指していることである。
  論文  参考訳（メタデータ） (2022-10-17T20:15:24Z)
• Reconstructing Training Data from Trained Neural Networks [42.60217236418818]
  いくつかのケースでは、トレーニングデータのかなりの部分が、実際にトレーニングされたニューラルネットワーク分類器のパラメータから再構成可能であることを示す。 本稿では,勾配に基づくニューラルネットワークの学習における暗黙バイアスに関する最近の理論的結果から,新たな再構成手法を提案する。
  論文  参考訳（メタデータ） (2022-06-15T18:35:16Z)
• Deep Q-network using reservoir computing with multi-layered readout [0.0]
  リカレントニューラルネットワーク(RNN)に基づく強化学習(RL)は、文脈に依存したタスクの学習に使用される。 BPTTを使わずにエージェントを訓練するリプレイメモリ導入方式が提案されている。 本稿では,読み出し層に多層ニューラルネットワークを適用することにより,本手法の性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-03-03T00:32:55Z)
• Binary Neural Network for Speaker Verification [13.472791713805762]
  本稿では,二元的ニューラルネットワークを話者検証の課題に適用する方法に焦点をあてる。 実験の結果、Convolutional Neural Networkをバイナライズした後、ResNet34ベースのネットワークは約5%のEERを達成した。
  論文  参考訳（メタデータ） (2021-04-06T06:04:57Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)
• Reservoir memory machines [79.79659145328856]
  本稿では,ニューラルチューリングマシンのベンチマークテストのいくつかを解くことができる貯水池メモリマシンを提案する。 我々のモデルは、外部メモリによるエコー状態ネットワークの拡張と見なすことができ、干渉することなく任意の長さの記憶が可能となる。
  論文  参考訳（メタデータ） (2020-02-12T01:45:00Z)
• Encoding-based Memory Modules for Recurrent Neural Networks [79.42778415729475]
  本稿では,リカレントニューラルネットワークの設計とトレーニングの観点から,記憶サブタスクについて考察する。 本稿では,線形オートエンコーダを組み込んだエンコーディングベースのメモリコンポーネントを特徴とする新しいモデルであるLinear Memory Networkを提案する。
  論文  参考訳（メタデータ） (2020-01-31T11:14:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。