論文の概要: Nondeterministic Stacks in Neural Networks

• arxiv url: http://arxiv.org/abs/2304.12955v2
• Date: Thu, 18 May 2023 01:56:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 19:24:20.519617
• Title: Nondeterministic Stacks in Neural Networks
• Title（参考訳）: ニューラルネットワークにおける非決定論的スタック
• Authors: Brian DuSell
• Abstract要約: 我々は、非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 これにより、任意の文脈自由言語に対する形式的認識能力が向上することを示す。 また,非決定論的スタックを付加したRNNでは,驚くほど強力な動作が可能であることを示す。
• 参考スコア（独自算出の注目度）: 0.456877715768796
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Human language is full of compositional syntactic structures, and although neural networks have contributed to groundbreaking improvements in computer systems that process language, widely-used neural network architectures still exhibit limitations in their ability to process syntax. To address this issue, prior work has proposed adding stack data structures to neural networks, drawing inspiration from theoretical connections between syntax and stacks. However, these methods employ deterministic stacks that are designed to track one parse at a time, whereas syntactic ambiguity, which requires a nondeterministic stack to parse, is extremely common in language. In this dissertation, we remedy this discrepancy by proposing a method of incorporating nondeterministic stacks into neural networks. We develop a differentiable data structure that efficiently simulates a nondeterministic pushdown automaton, representing an exponential number of computations with a dynamic programming algorithm. We incorporate this module into two predominant architectures: recurrent neural networks (RNNs) and transformers. We show that this raises their formal recognition power to arbitrary context-free languages, and also aids training, even on deterministic context-free languages. Empirically, neural networks with nondeterministic stacks learn context-free languages much more effectively than prior stack-augmented models, including a language with theoretically maximal parsing difficulty. We also show that an RNN augmented with a nondeterministic stack is capable of surprisingly powerful behavior, such as learning cross-serial dependencies, a well-known non-context-free pattern. We demonstrate improvements on natural language modeling and provide analysis on a syntactic generalization benchmark. This work represents an important step toward building systems that learn to use syntax in more human-like fashion.
• Abstract（参考訳）: ニューラルネットワークは、言語を処理するコンピュータシステムの画期的な改善に寄与しているが、広く使われているニューラルネットワークアーキテクチャは、構文を処理する能力の限界をまだ示している。 この問題に対処するため、以前の研究では、ニューラルネットワークにスタックデータ構造を追加し、構文とスタック間の理論的接続からインスピレーションを得ている。 しかし、これらの手法は一度に1つのパースを追跡するように設計された決定論的スタックを用いるが、構文的曖昧さは解析に非決定論的スタックを必要とするが、言語では極めて一般的である。 この論文では,非決定論的スタックをニューラルネットワークに組み込む手法を提案することで,この不一致を解消する。 本研究では,動的プログラミングアルゴリズムを用いて,指数関数数を表す非決定論的プッシュダウンオートマトンを効率的にシミュレートする微分可能なデータ構造を開発する。 このモジュールをリカレントニューラルネットワーク(RNN)とトランスフォーマーの2つの主要なアーキテクチャに組み込む。 これにより、任意の文脈自由言語に対する形式的認識能力が向上し、決定論的文脈自由言語においてもトレーニングを支援することが示される。 経験的に、非決定論的スタックを持つニューラルネットワークは、理論的に最大解析の難しい言語を含む、以前のスタック推論モデルよりもずっと効果的に文脈自由言語を学習する。 また,非決定性スタックを付加したrnnでは,非コンテキストフリーパターンであるクロスシリアル依存性の学習など,驚くほど強力な動作が可能であることも示している。 自然言語モデリングの改善を実証し,構文一般化ベンチマークの分析を行う。 この作業は、より人間的な方法で構文の使用を学ぶシステムを構築するための重要なステップである。

関連論文リスト

• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  形式言語理論は、特に認識者に関するものである。 代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。 ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• pyhgf: A neural network library for predictive coding [0.2150989251218736]
  texttpyhgfは、予測コーディングのための動的ネットワークの作成、操作、サンプリングのためのPythonパッケージである。 ネットワークコンポーネントを透過的でモジュール的で、拡張可能な変数としてメッセージパッシングステップに囲み込むことで、他のフレームワークよりも改善します。 コア変数の透明性は、自己組織化の原則を活用する推論プロセスにも変換できる。
  論文  参考訳（メタデータ） (2024-10-11T19:21:38Z)
• ExAIS: Executable AI Semantics [4.092001692194709]
  ニューラルネットワークは、プログラマの心の中で(しばしば非公式に)論理的推論を通じて、より複雑なプログラムを構築する代わりに、汎用的なニューラルネットワークモデルをビッグデータで最適化することで、新しいプログラミングパラダイムとみなすことができる。 この新しいパラダイムでは、PyTorchのようなAIフレームワークが重要な役割を果たす。 プログラミング言語(Cなど)の適切な意味論が欠如していること、すなわちコンパイラの正当性仕様が、多くの問題のあるプログラムの動作やセキュリティ問題に寄与していることが知られている。
  論文  参考訳（メタデータ） (2022-02-20T17:33:34Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
  最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。 また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
  論文  参考訳（メタデータ） (2021-09-05T03:25:23Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)
• Learning Context-Free Languages with Nondeterministic Stack RNNs [20.996069249108224]
  本稿では,指数的なスタック構成を同時にかつトラクタブルに符号化する,微分可能なスタックデータ構造を提案する。 我々は、このデータ構造とリカレントニューラルネットワーク(RNN)コントローラの組み合わせを非決定論的スタックRNNと呼んでいる。
  論文  参考訳（メタデータ） (2020-10-09T16:48:41Z)
• Reservoir Memory Machines as Neural Computers [70.5993855765376]
  微分可能なニューラルネットワークは、干渉することなく明示的なメモリで人工ニューラルネットワークを拡張する。 我々は、非常に効率的に訓練できるモデルを用いて、微分可能なニューラルネットワークの計算能力を実現する。
  論文  参考訳（メタデータ） (2020-09-14T12:01:30Z)
• Recognizing Long Grammatical Sequences Using Recurrent Networks Augmented With An External Differentiable Stack [73.48927855855219]
  リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。 RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。 これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。 本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
  論文  参考訳（メタデータ） (2020-04-04T14:19:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。