論文の概要: A provably stable neural network Turing Machine

• arxiv url: http://arxiv.org/abs/2006.03651v4
• Date: Sun, 18 Sep 2022 16:20:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-25 03:35:15.456043
• Title: A provably stable neural network Turing Machine
• Title（参考訳）: 実現可能な安定なニューラルネットワークチューリングマシン
• Authors: John Stogin, Ankur Mali and C Lee Giles
• Abstract要約: 我々は、スタックプッシュとポップ操作を近似する微分可能なパラメタライズドスタック演算子を含む、ニューラルスタックアーキテクチャを導入する。 ニューラルスタックとリカレントニューラルネットワークを用いて、ニューラルネットワークPushdown Automaton(nnPDA)を導入し、有限有界ニューロンと時間を持つnnPDAが任意のPDAをシミュレートできることを証明する。 我々は,有界ニューロンを用いた微分可能な nnTM がチューリングマシン(TM)をリアルタイムにシミュレートできることを証明した。
• 参考スコア（独自算出の注目度）: 13.615420026818038
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a neural stack architecture, including a differentiable parametrized stack operator that approximates stack push and pop operations for suitable choices of parameters that explicitly represents a stack. We prove the stability of this stack architecture: after arbitrarily many stack operations, the state of the neural stack still closely resembles the state of the discrete stack. Using the neural stack with a recurrent neural network, we introduce a neural network Pushdown Automaton (nnPDA) and prove that nnPDA with finite/bounded neurons and time can simulate any PDA. Furthermore, we extend our construction and propose new architecture neural state Turing Machine (nnTM). We prove that differentiable nnTM with bounded neurons can simulate Turing Machine (TM) in real-time. Just like the neural stack, these architectures are also stable. Finally, we extend our construction to show that differentiable nnTM is equivalent to Universal Turing Machine (UTM) and can simulate any TM with only \textbf{seven finite/bounded precision} neurons. This work provides a new theoretical bound for the computational capability of bounded precision RNNs augmented with memory.
• Abstract（参考訳）: 我々は,スタックを明示的に表現するパラメータの適切な選択のために,スタックプッシュとpop操作を近似する微分可能なパラメータ化スタック演算子を含むニューラルスタックアーキテクチャを導入する。 我々は、このスタックアーキテクチャの安定性を証明した: 任意の数のスタック操作の後、ニューラルスタックの状態は依然として離散スタックの状態によく似ている。 ニューラルスタックとリカレントニューラルネットワークを用いて、ニューラルネットワークPushdown Automaton(nnPDA)を導入し、有限有界ニューロンと時間を持つnnPDAが任意のPDAをシミュレートできることを証明する。 さらに、構築を拡張し、新しいアーキテクチャ・ニューラルステート・チューリング・マシン(nnTM)を提案する。 我々は,有界ニューロンとの微分可能なnnTMがチューリングマシン(TM)をリアルタイムにシミュレートできることを証明した。 ニューラルネットワークと同じように、これらのアーキテクチャも安定している。 最後に、微分可能な nnTM がUniversal Turing Machine (UTM) と等価であることを示し、任意の TM を \textbf{seven finite/bounded precision} ニューロンでシミュレートできることを示す。 この研究は、メモリで拡張された有界精度RNNの計算能力に対する新たな理論的バウンダリを提供する。

関連論文リスト

• Multi-layer random features and the approximation power of neural networks [4.178980693837599]
  再現カーネルヒルベルト空間はアーキテクチャによって近似できる関数のみを含むことを証明している。 NNGPの積分作用素の固有値が$k-n-frac23$よりも遅く、$k$が固有値の順序である場合、我々の定理はバロンの定理よりも簡潔なニューラルネットワーク近似を保証する。
  論文  参考訳（メタデータ） (2024-04-26T14:57:56Z)
• The Expressive Leaky Memory Neuron: an Efficient and Expressive Phenomenological Neuron Model Can Solve Long-Horizon Tasks [64.08042492426992]
  本稿では,脳皮質ニューロンの生物学的モデルであるExpressive Memory(ELM)ニューロンモデルを紹介する。 ELMニューロンは、上記の入力-出力関係を1万以下のトレーニング可能なパラメータと正確に一致させることができる。 本稿では,Long Range Arena(LRA)データセットなど,時間構造を必要とするタスクで評価する。
  論文  参考訳（メタデータ） (2023-06-14T13:34:13Z)
• Token Turing Machines [53.22971546637947]
  Token Turing Machines (TTM) はシーケンシャルな自己回帰型トランスフォーマーモデルである。 我々のモデルは、セミナルなニューラルチューリングマシンにインスパイアされ、以前の履歴を要約するトークンの集合からなる外部メモリを持つ。
  論文  参考訳（メタデータ） (2022-11-16T18:59:18Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Neuromorphic Computing is Turing-Complete [0.0]
  ニューロモルフィックコンピューティング(Neuromorphic Computing)は、人間の脳をエミュレートして計算を行う非ヴォンノイマン計算パラダイムである。 ニューロモルフィックシステムはエネルギー効率が非常に高く、cpuやgpuの数千倍の消費電力で知られている。 我々は、すべてのmu再帰関数とすべてのmu再帰演算子を計算するためのニューロモルフィック回路を考案する。
  論文  参考訳（メタデータ） (2021-04-28T19:25:01Z)
• Continual Learning with Deep Artificial Neurons [0.0]
  本稿では,Deep Artificial Neurons (DAN)を導入し,ディープニューラルネットワークとして実現した。 ネットワーク内のすべてのDANが共有する神経表現型をダブする単一パラメータベクトルをメタ学習することが可能であることを示す。 適切な神経表現型は,最小限の忘れを伴ってシナプスを更新する能力を持つ単一ネットワークを育むことができることを示す。
  論文  参考訳（メタデータ） (2020-11-13T17:50:10Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Reservoir memory machines [79.79659145328856]
  本稿では,ニューラルチューリングマシンのベンチマークテストのいくつかを解くことができる貯水池メモリマシンを提案する。 我々のモデルは、外部メモリによるエコー状態ネットワークの拡張と見なすことができ、干渉することなく任意の長さの記憶が可能となる。
  論文  参考訳（メタデータ） (2020-02-12T01:45:00Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)
• On the computational power and complexity of Spiking Neural Networks [0.0]
  本研究では, スパイクニューラルネットワークを機械モデルとして導入し, 親しみやすいチューリングマシンとは対照的に, 情報と操作を機械内に共同配置する。 正規問題を導入し、複雑性クラスの階層を定義し、いくつかの最初の完全性結果を提供する。
  論文  参考訳（メタデータ） (2020-01-23T10:40:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。