論文の概要: Learning Transductions and Alignments with RNN Seq2seq Models
- arxiv url: http://arxiv.org/abs/2303.06841v1
- Date: Mon, 13 Mar 2023 04:15:33 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-14 16:30:59.346795
- Title: Learning Transductions and Alignments with RNN Seq2seq Models
- Title(参考訳): RNN Seq2seqモデルによるトランスダクションとアライメントの学習
- Authors: Zhengxiang Wang
- Abstract要約: 本稿では,4つの文字列対文字列タスクの学習において,Recurrent-Neural-Network sequence to sequence (RNN seq2seq)モデルの有効性について検討する。
RNN seq2seqモデルでは,トレーニングデータや分布内データに適合するマッピングのみを近似できることがわかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paper studies the capabilities of Recurrent-Neural-Network sequence to
sequence (RNN seq2seq) models in learning four string-to-string transduction
tasks: identity, reversal, total reduplication, and input-specified
reduplication. These transductions are traditionally well studied under finite
state transducers and attributed with varying complexity. We find that RNN
seq2seq models are only able to approximate a mapping that fits the training or
in-distribution data. Attention helps significantly, but does not solve the
out-of-distribution generalization limitation. Task complexity and RNN variants
also play a role in the results. Our results are best understood in terms of
the complexity hierarchy of formal languages as opposed to that of string
transductions.
- Abstract(参考訳): 本稿では,4つの文字列から文字列への変換タスク(identity,reversal,total reduplication,input-specificified reduplication)の学習におけるrecurrent-neural-network sequence to sequence(rnn seq2seq)モデルの能力について検討した。
これらのトランスダクションは伝統的に有限状態トランスデューサの下でよく研究されており、様々な複雑さがある。
RNN seq2seqモデルでは,トレーニングデータや分布内データに適合するマッピングを近似することができる。
注意は大いに役立つが、分布外一般化の限界は解決しない。
タスクの複雑さとRNNのバリエーションも結果に重要な役割を果たします。
この結果は,文字列トランスダクションとは対照的に,形式言語の複雑性階層の観点から最もよく理解されている。
関連論文リスト
- A Theoretical Result on the Inductive Bias of RNN Language Models [56.06361029539347]
Hewittらによる最近の研究(2020年)は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的成功の解釈を提供する。
それらの構成を一般化し、RNNがより大規模なLMを効率的に表現できることを示す。
論文 参考訳(メタデータ) (2024-02-24T13:42:06Z) - Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
RNN LMが表現できる確率分布のクラスについて検討する。
単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。
これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
論文 参考訳(メタデータ) (2023-10-08T13:36:05Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-15T05:22:40Z) - The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。
本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
論文 参考訳(メタデータ) (2022-05-29T14:57:33Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳(メタデータ) (2021-09-05T03:25:23Z) - Learning and Generalization in RNNs [11.107204912245841]
単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。
新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
論文 参考訳(メタデータ) (2021-05-31T18:27:51Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳(メタデータ) (2021-04-07T03:50:11Z) - Implementation of quantum stochastic walks for function approximation,
two-dimensional data classification, and sequence classification [0.0]
本稿では,グラフ上の量子ウォークに基づく量子ニューラルネットワークについて検討し,勾配勾配を用いてネットワークパラメータを更新する。
5つのニューロンを持つ単純なQSNNは、単語列が文であるか否かを判断するために訓練され、QSNNがトレーニングステップ数を削減できることがわかった。
論文 参考訳(メタデータ) (2021-03-04T13:29:38Z) - A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。
これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。
我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文 参考訳(メタデータ) (2020-04-18T00:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。