論文の概要: Learning Transductions and Alignments with RNN Seq2seq Models
- arxiv url: http://arxiv.org/abs/2303.06841v3
- Date: Sun, 25 Jun 2023 15:06:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-27 23:30:49.475730
- Title: Learning Transductions and Alignments with RNN Seq2seq Models
- Title(参考訳): RNN Seq2seqモデルによるトランスダクションとアライメントの学習
- Authors: Zhengxiang Wang
- Abstract要約: 本研究では,4つのトランスダクションタスクの学習において,Recurrent-Neural-Network sequence to sequence (RNN seq2seq)モデルの有効性について検討する。
RNN seq2seqモデルは、基礎となる関数を学習するのではなく、トレーニングデータや配信データに適合するマッピングを近似することができる。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The paper studies the capabilities of Recurrent-Neural-Network sequence to
sequence (RNN seq2seq) models in learning four transduction tasks: identity,
reversal, total reduplication, and quadratic copying. These transductions are
traditionally well studied under finite state transducers and attributed with
increasing complexity. We find that RNN seq2seq models are only able to
approximate a mapping that fits the training or in-distribution data, instead
of learning the underlying functions. Although attention makes learning more
efficient and robust, it does not overcome the out-of-distribution
generalization limitation. We establish a novel complexity hierarchy for
learning the four tasks for attention-less RNN seq2seq models, which may be
understood in terms of the complexity hierarchy of formal languages, instead of
string transductions. RNN variants also play a role in the results. In
particular, we show that Simple RNN seq2seq models cannot count the input
length.
- Abstract(参考訳): 本稿では,Recurrent-Neural-Network sequence to sequence (RNN seq2seq) モデルの4つのトランスダクションタスク(アイデンティティ,リバーサル,総複製,二次コピー)の学習能力について検討する。
これらのトランスダクションは伝統的に有限状態トランスデューサの下でよく研究されており、複雑さの増大に起因する。
RNN seq2seqモデルは、基礎となる関数を学習するのではなく、トレーニングデータや配信データに適合するマッピングを近似することができる。
注意は学習をより効率的で堅牢にするが、分散の一般化の限界を克服するものではない。
我々は,RNN seq2seqモデルの4つのタスクを,文字列トランスダクションの代わりに形式言語の複雑性階層で理解することのできる,新しい複雑性階層を構築した。
RNNの変種も結果に重要な役割を果たしている。
特に,単純な RNN seq2seq モデルでは入力長をカウントできないことを示す。
関連論文リスト
- A Theoretical Result on the Inductive Bias of RNN Language Models [56.06361029539347]
Hewittらによる最近の研究(2020年)は、リカレントニューラルネットワーク(RNN)の言語モデル(LM)としての実証的成功の解釈を提供する。
それらの構成を一般化し、RNNがより大規模なLMを効率的に表現できることを示す。
論文 参考訳(メタデータ) (2024-02-24T13:42:06Z) - Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
RNN LMが表現できる確率分布のクラスについて検討する。
単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。
これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
論文 参考訳(メタデータ) (2023-10-08T13:36:05Z) - On the Computational Complexity and Formal Hierarchy of Second Order
Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN)
有界時間でチューリング完備な RNN のクラスが存在することを証明している。
また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文 参考訳(メタデータ) (2023-09-26T06:06:47Z) - Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。
本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文 参考訳(メタデータ) (2022-11-15T05:22:40Z) - The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。
本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
論文 参考訳(メタデータ) (2022-05-29T14:57:33Z) - Learning Hierarchical Structures with Differentiable Nondeterministic
Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。
NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。
また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文 参考訳(メタデータ) (2021-09-05T03:25:23Z) - Learning and Generalization in RNNs [11.107204912245841]
単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。
新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
論文 参考訳(メタデータ) (2021-05-31T18:27:51Z) - Recognizing and Verifying Mathematical Equations using Multiplicative
Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。
本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文 参考訳(メタデータ) (2021-04-07T03:50:11Z) - Implementation of quantum stochastic walks for function approximation,
two-dimensional data classification, and sequence classification [0.0]
本稿では,グラフ上の量子ウォークに基づく量子ニューラルネットワークについて検討し,勾配勾配を用いてネットワークパラメータを更新する。
5つのニューロンを持つ単純なQSNNは、単語列が文であるか否かを判断するために訓練され、QSNNがトレーニングステップ数を削減できることがわかった。
論文 参考訳(メタデータ) (2021-03-04T13:29:38Z) - A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。
これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。
我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文 参考訳(メタデータ) (2020-04-18T00:57:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。