Fugu-MT 論文翻訳(概要): Learning Context-Free Languages with Nondeterministic Stack RNNs

論文の概要: Learning Context-Free Languages with Nondeterministic Stack RNNs

arxiv url: http://arxiv.org/abs/2010.04674v1
Date: Fri, 9 Oct 2020 16:48:41 GMT
ステータス: 処理完了
システム内更新日: 2022-10-09 05:31:23.103133
Title: Learning Context-Free Languages with Nondeterministic Stack RNNs
Title（参考訳）: 非決定論的スタックRNNを用いた文脈自由言語学習
Authors: Brian DuSell and David Chiang
Abstract要約: 本稿では,指数的なスタック構成を同時にかつトラクタブルに符号化する,微分可能なスタックデータ構造を提案する。我々は、このデータ構造とリカレントニューラルネットワーク(RNN)コントローラの組み合わせを非決定論的スタックRNNと呼んでいる。
参考スコア（独自算出の注目度）: 20.996069249108224
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a differentiable stack data structure that simultaneously and tractably encodes an exponential number of stack configurations, based on Lang's algorithm for simulating nondeterministic pushdown automata. We call the combination of this data structure with a recurrent neural network (RNN) controller a Nondeterministic Stack RNN. We compare our model against existing stack RNNs on various formal languages, demonstrating that our model converges more reliably to algorithmic behavior on deterministic tasks, and achieves lower cross-entropy on inherently nondeterministic tasks.
Abstract（参考訳）: 我々は,非決定論的プッシュダウンオートマトンをシミュレートするlangのアルゴリズムに基づいて,指数関数的なスタック構成を同時かつ気軽にエンコードする,微分可能なスタックデータ構造を提案する。我々は、このデータ構造とリカレントニューラルネットワーク(RNN)コントローラの組み合わせを非決定論的スタックRNNと呼んでいる。我々は,本モデルと各種形式言語上の既存のスタックRNNを比較し,決定論的タスクのアルゴリズム的振る舞いにより確実に収束し,本質的に非決定論的タスクのクロスエントロピーを低くすることを示した。

関連論文リスト

Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文参考訳（メタデータ） (2024-11-11T16:33:25Z)
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文参考訳（メタデータ） (2023-09-26T06:06:47Z)
Nondeterministic Stacks in Neural Networks [0.456877715768796]
我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
論文参考訳（メタデータ） (2023-04-25T16:00:40Z)
Parallel Neural Networks in Golang [0.0]
本稿では,並列ニューラルネットワーク(PNN)と新しいプログラミング言語Golangの設計と実装について述べる。 Golangとその固有の並列化サポートは、並列ニューラルネットワークシミュレーションにおいて、シーケンシャルなバリエーションに比べて処理時間が大幅に短縮されていることが証明された。
論文参考訳（メタデータ） (2023-04-19T11:56:36Z)
A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
論文参考訳（メタデータ） (2022-11-22T16:30:33Z)
Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
論文参考訳（メタデータ） (2022-11-19T15:44:08Z)
Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。我々の手法は古典的DPベースの推論に広く適用できる。また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文参考訳（メタデータ） (2021-12-07T11:26:41Z)
Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文参考訳（メタデータ） (2021-09-05T03:25:23Z)
Fully differentiable model discovery [0.0]
ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
論文参考訳（メタデータ） (2021-06-09T08:11:23Z)
Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。