論文の概要: Can RNNs learn Recursive Nested Subject-Verb Agreements?
- arxiv url: http://arxiv.org/abs/2101.02258v1
- Date: Wed, 6 Jan 2021 20:47:02 GMT
- ステータス: 処理完了
- システム内更新日: 2021-04-11 01:53:02.320107
- Title: Can RNNs learn Recursive Nested Subject-Verb Agreements?
- Title（参考訳）: RNNは再帰的Nested Subject-Verb Agreementsを学習できるか?
- Authors: Yair Lakretz, Th\'eo Desbordes, Jean-R\'emi King, Beno\^it Crabb\'e,
Maxime Oquab, Stanislas Dehaene
- Abstract要約: 言語処理にはネストした木構造を抽出する機能が必要である。
リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクでほぼ人間に近いパフォーマンスを実現します。
- 参考スコア（独自算出の注目度）: 4.094098809740732
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: One of the fundamental principles of contemporary linguistics states that
language processing requires the ability to extract recursively nested tree
structures. However, it remains unclear whether and how this code could be
implemented in neural circuits. Recent advances in Recurrent Neural Networks
(RNNs), which achieve near-human performance in some language tasks, provide a
compelling model to address such questions. Here, we present a new framework to
study recursive processing in RNNs, using subject-verb agreement as a probe
into the representations of the neural network. We trained six distinct types
of RNNs on a simplified probabilistic context-free grammar designed to
independently manipulate the length of a sentence and the depth of its
syntactic tree. All RNNs generalized to subject-verb dependencies longer than
those seen during training. However, none systematically generalized to deeper
tree structures, even those with a structural bias towards learning nested tree
(i.e., stack-RNNs). In addition, our analyses revealed primacy and recency
effects in the generalization patterns of LSTM-based models, showing that these
models tend to perform well on the outer- and innermost parts of a
center-embedded tree structure, but poorly on its middle levels. Finally,
probing the internal states of the model during the processing of sentences
with nested tree structures, we found a complex encoding of grammatical
agreement information (e.g. grammatical number), in which all the information
for multiple words nouns was carried by a single unit. Taken together, these
results indicate how neural networks may extract bounded nested tree
structures, without learning a systematic recursive rule.
- Abstract（参考訳）: 現代言語学の基本原理の1つは、言語処理は再帰的にネストされた木構造を抽出する能力を必要とすると述べている。
しかし、このコードがニューラルネットワークでどのように実装されるのかは不明だ。
リカレントニューラルネットワーク(RNN)の最近の進歩は、いくつかの言語タスクにおいて、ほぼ人間に近いパフォーマンスを実現している。
本稿では,RNNにおける再帰的処理を研究するための新しい枠組みを提案する。
文の長さと構文木の深さを独立に操作する簡易な確率論的文脈自由文法を用いて6種類のRNNを訓練した。
すべてのRNNは、トレーニング中に見られるものよりも長く、主観的な依存関係に一般化した。
しかし、より深い木構造への体系的な一般化は行われず、ネストした木(スタック-RNN)を学習する構造バイアスを持つものさえもなかった。
また,本研究では,lstm系モデルの一般化パターンにおけるプライマシーとrecency効果を明らかにし,これらのモデルが中央埋め込み木構造の外側と内側でよく機能するが,中間層ではよく機能しないことを示した。
最後に,ネストした木構造を持つ文の処理中にモデルの内部状態を調べることで,文法的合意情報の複雑な符号化(例)を見出した。
複数の単語の名詞の全ての情報が単一の単位によって運ばれた文法的数)。
これらの結果は, 系統的再帰的ルールを学習することなく, ニューラルネットワークが有界なネスト木構造を抽出する方法を示している。
関連論文リスト
- Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
形式言語理論は、特に認識者に関するものである。
代わりに、非公式な意味でのみ類似したプロキシタスクを使用するのが一般的である。
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価することで、このミスマッチを補正する。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - On The Expressivity of Recurrent Neural Cascades [48.87943990557107]
リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。
RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
論文 参考訳（メタデータ） (2023-12-14T15:47:26Z) - Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。
NSRは神経知覚、構文解析、意味推論を統合している。
我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
論文 参考訳（メタデータ） (2022-10-04T13:27:38Z) - Active Predictive Coding Networks: A Neural Solution to the Problem of
Learning Reference Frames and Part-Whole Hierarchies [1.5990720051907859]
APCN(Active Predictive Coding Networks)を紹介する。
APCNは、人工知能と脳モデリングの分野において、Hintonらによって引き起こされた主要な問題を解決するニューラルネットワークの新しいクラスである。
APCNは(a)画像を部分全体階層に解析し、(b)構成表現を学習し、(c)未知のオブジェクトのクラスにその知識を移すことを実証する。
論文 参考訳（メタデータ） (2022-01-14T21:22:48Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳（メタデータ） (2021-09-05T03:25:23Z) - Sequence-to-Sequence Learning with Latent Neural Grammars [12.624691611049341]
ニューラルネットワークを用いたシーケンス対シーケンス学習は、シーケンス予測タスクのデファクトスタンダードとなっている。
フレキシブルでパフォーマンスが高いが、これらのモデルはトレーニングのために大きなデータセットを必要とすることが多く、構成の一般化をテストするために設計されたベンチマークで驚くほど失敗することがある。
この研究は、準同期文法を用いたシーケンシャル・ツー・シークエンス学習の代替的、階層的アプローチを探求する。
論文 参考訳（メタデータ） (2021-09-02T17:58:08Z) - Unsupervised Learning of Explainable Parse Trees for Improved
Generalisation [15.576061447736057]
より有意義で説明しやすい解析木構造を学ぶために、Tree-LSTMよりも注意メカニズムを提案します。
また,提案モデルの自然言語推論,意味的関連性,感情分析タスクにおける優れた性能を示す。
論文 参考訳（メタデータ） (2021-04-11T12:10:03Z) - Recursive Top-Down Production for Sentence Generation with Latent Trees [77.56794870399288]
自然および合成言語に対する文脈自由文法の生成特性をモデル化する。
潜伏二分木構造にN$の葉を持つ動的プログラミングアルゴリズムを提案する。
また,Multi30kデータセットを用いたドイツ語と英語の翻訳実験を行った。
論文 参考訳（メタデータ） (2020-10-09T17:47:16Z) - Recognizing Long Grammatical Sequences Using Recurrent Networks
Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。
RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。
これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。
本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文 参考訳（メタデータ） (2020-04-04T14:19:15Z) - Linguistically Driven Graph Capsule Network for Visual Question
Reasoning [153.76012414126643]
我々は「言語的に駆動されるグラフカプセルネットワーク」と呼ばれる階層的構成推論モデルを提案する。
具体的には,各カプセルを最下層に結合させ,元の質問に1つの単語を埋め込んだ言語的埋め込みを視覚的証拠で橋渡しする。
CLEVRデータセット、CLEVR合成生成テスト、およびFinalQAデータセットの実験は、我々のエンドツーエンドモデルの有効性と構成一般化能力を示す。
論文 参考訳（メタデータ） (2020-03-23T03:34:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。