論文の概要: How much complexity does an RNN architecture need to learn
syntax-sensitive dependencies?
- arxiv url: http://arxiv.org/abs/2005.08199v2
- Date: Mon, 25 May 2020 10:18:27 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-02 05:42:21.376392
- Title: How much complexity does an RNN architecture need to learn
syntax-sensitive dependencies?
- Title(参考訳): rnnアーキテクチャは構文に敏感な依存関係を学ぶのにどのくらいの複雑さが必要ですか?
- Authors: Gantavya Bhatt, Hritik Bansal, Rishubh Singh, Sumeet Agarwal
- Abstract要約: 長期記憶(LSTM)ネットワークは、長距離依存をカプセル化することができる。
単純なリカレントネットワーク(SRN)は一般的に、長距離依存関係の取得にはあまり成功していない。
本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案する。
- 参考スコア(独自算出の注目度): 9.248882589228089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Long short-term memory (LSTM) networks and their variants are capable of
encapsulating long-range dependencies, which is evident from their performance
on a variety of linguistic tasks. On the other hand, simple recurrent networks
(SRNs), which appear more biologically grounded in terms of synaptic
connections, have generally been less successful at capturing long-range
dependencies as well as the loci of grammatical errors in an unsupervised
setting. In this paper, we seek to develop models that bridge the gap between
biological plausibility and linguistic competence. We propose a new
architecture, the Decay RNN, which incorporates the decaying nature of neuronal
activations and models the excitatory and inhibitory connections in a
population of neurons. Besides its biological inspiration, our model also shows
competitive performance relative to LSTMs on subject-verb agreement, sentence
grammaticality, and language modeling tasks. These results provide some
pointers towards probing the nature of the inductive biases required for RNN
architectures to model linguistic phenomena successfully.
- Abstract(参考訳): 長期記憶(LSTM)ネットワークとその変種は、様々な言語タスクのパフォーマンスから明らかな長距離依存をカプセル化することができる。
一方で、シナプス接続の観点でより生物学的に接する単純なリカレントネットワーク(srns)は、一般的には、教師なしの設定で文法的エラーの軌跡と同様に、長距離の依存関係を捉えることにはあまり成功していない。
本稿では,生物学的妥当性と言語能力のギャップを埋めるモデルの開発を目指す。
本稿では,ニューロン活性化の減衰特性を取り入れた新しいアーキテクチャであるDecay RNNを提案し,ニューロンの集団における興奮性および抑制性接続をモデル化する。
その生物学的インスピレーションに加えて、本モデルでは、主語と動詞の一致、文の文法性、言語モデリングタスクに対するLSTMの競合性能も示す。
これらの結果は,言語現象をモデル化する上で,RNNアーキテクチャに必要な帰納バイアスの性質を明らかにするための指標となる。
関連論文リスト
- In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳(メタデータ) (2024-01-23T18:59:21Z) - On The Expressivity of Recurrent Neural Cascades [53.397276621815614]
リカレントニューラルカスケード(Recurrent Neural Cascades、RNC)は、リカレントニューラルネットワークであり、リカレントニューロン間で循環的依存を持たない。
RNCは、グループを実装可能なニューロンを導入することで、すべての正規言語を表現できることを示す。
論文 参考訳(メタデータ) (2023-12-14T15:47:26Z) - On the Intrinsic Structures of Spiking Neural Networks [66.57589494713515]
近年、時間依存データやイベント駆動データを扱う大きな可能性から、SNNへの関心が高まっている。
スパイキング計算における本質的な構造の影響を総合的に調査する研究が数多く行われている。
この研究はSNNの本質的な構造を深く掘り下げ、SNNの表現性への影響を解明する。
論文 参考訳(メタデータ) (2022-06-21T09:42:30Z) - Relational Weight Priors in Neural Networks for Abstract Pattern
Learning and Language Modelling [6.980076213134383]
抽象パターンは、見えないデータに対する一般化の観点から、ニューラルネットワークにとって難しい問題の最もよく知られた例である。
これらの低レベル問題は、ニューラルネットワークが体系的に学習できないことを示しています。
抽象パターンの等価性と距離関係の学習を促進するリレーショナルインダクティブバイアスを作成するための新しい方法として、組み込みリレーショナルベースパターン(ERBP)を提案する。
論文 参考訳(メタデータ) (2021-03-10T17:21:16Z) - Progressive Tandem Learning for Pattern Recognition with Deep Spiking
Neural Networks [80.15411508088522]
スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。
高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
論文 参考訳(メタデータ) (2020-07-02T15:38:44Z) - Learning Various Length Dependence by Dual Recurrent Neural Networks [0.0]
デュアルリカレントニューラルネットワーク(DuRNN)という新しいモデルを提案する。
DuRNNは短期依存を学習し、長期依存を徐々に学習する2つの部分から構成される。
コントリビューションは,1)長期的・短期的依存を個別に学習するための分割・並行的戦略に基づく新たな再帰モデル,2)異なる時間的依存尺度の分離・学習を促進するための選択メカニズムである。
論文 参考訳(メタデータ) (2020-05-28T09:30:01Z) - Influence Paths for Characterizing Subject-Verb Number Agreement in LSTM
Language Models [22.826154706036995]
LSTMベースのリカレントニューラルネットワークは、多くの自然言語処理(NLP)タスクの最先端技術である。
この理解の欠如として、このタスクにおけるLSTM性能の一般性と、関連するタスクに対するそれらの適合性は不確かである。
本稿では, 繰り返し神経回路のゲートとニューロンを横断する経路として, 構造特性の因果的説明である*影響経路*を紹介する。
論文 参考訳(メタデータ) (2020-05-03T21:10:31Z) - Neural Additive Models: Interpretable Machine Learning with Neural Nets [77.66871378302774]
ディープニューラルネットワーク(DNN)は、さまざまなタスクにおいて優れたパフォーマンスを達成した強力なブラックボックス予測器である。
本稿では、DNNの表現性と一般化した加法モデルの固有知性を組み合わせたニューラル付加モデル(NAM)を提案する。
NAMは、ニューラルネットワークの線形結合を学び、それぞれが単一の入力機能に付随する。
論文 参考訳(メタデータ) (2020-04-29T01:28:32Z) - Recognizing Long Grammatical Sequences Using Recurrent Networks
Augmented With An External Differentiable Stack [73.48927855855219]
リカレントニューラルネットワーク(RNN)は、シーケンスモデリング、生成、予測に広く使われているディープアーキテクチャである。
RNNは、非常に長いシーケンスに対してあまり一般化せず、多くの重要な時間的処理や時系列予測問題に適用性を制限する。
これらの欠点に対処する方法の1つは、スタックのような外部の異なるメモリ構造とRNNを結合することである。
本稿では,重要なアーキテクチャと状態更新機構を備えたメモリ拡張RNNを改良する。
論文 参考訳(メタデータ) (2020-04-04T14:19:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。