Fugu-MT 論文翻訳(概要): Learning Transductions and Alignments with RNN Seq2seq Models

論文の概要: Learning Transductions and Alignments with RNN Seq2seq Models

arxiv url: http://arxiv.org/abs/2303.06841v1
Date: Mon, 13 Mar 2023 04:15:33 GMT
ステータス: 処理完了
システム内更新日: 2023-03-14 16:30:59.346795
Title: Learning Transductions and Alignments with RNN Seq2seq Models
Title（参考訳）: RNN Seq2seqモデルによるトランスダクションとアライメントの学習
Authors: Zhengxiang Wang
Abstract要約: 本稿では,4つの文字列対文字列タスクの学習において,Recurrent-Neural-Network sequence to sequence (RNN seq2seq)モデルの有効性について検討する。 RNN seq2seqモデルでは,トレーニングデータや分布内データに適合するマッピングのみを近似できることがわかった。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The paper studies the capabilities of Recurrent-Neural-Network sequence to sequence (RNN seq2seq) models in learning four string-to-string transduction tasks: identity, reversal, total reduplication, and input-specified reduplication. These transductions are traditionally well studied under finite state transducers and attributed with varying complexity. We find that RNN seq2seq models are only able to approximate a mapping that fits the training or in-distribution data. Attention helps significantly, but does not solve the out-of-distribution generalization limitation. Task complexity and RNN variants also play a role in the results. Our results are best understood in terms of the complexity hierarchy of formal languages as opposed to that of string transductions.
Abstract（参考訳）: 本稿では,4つの文字列から文字列への変換タスク(identity,reversal,total reduplication,input-specificified reduplication)の学習におけるrecurrent-neural-network sequence to sequence(rnn seq2seq)モデルの能力について検討した。これらのトランスダクションは伝統的に有限状態トランスデューサの下でよく研究されており、様々な複雑さがある。 RNN seq2seqモデルでは,トレーニングデータや分布内データに適合するマッピングを近似することができる。注意は大いに役立つが、分布外一般化の限界は解決しない。タスクの複雑さとRNNのバリエーションも結果に重要な役割を果たします。この結果は,文字列トランスダクションとは対照的に,形式言語の複雑性階層の観点から最もよく理解されている。

関連論文リスト

Attention as an RNN [66.5420926480473]
我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-22T19:45:01Z)
Learning Useful Representations of Recurrent Neural Network Weight Matrices [30.583752432727326]
リカレントニューラルネットワーク(Recurrent Neural Networks、RNN)は、汎用並列シーケンスコンピュータである。下流タスクと同様に、RNN分析を容易にするRNN重みの有用な表現をどうやって学習するか? 我々は、RNN重みに対するいくつかの力学的アプローチを検討し、RNNに対して置換同変のDeep Weight Space層を適用する。我々の2つの新しい機能主義者は、入力を探索することでRNNの重みから情報を'インターロゲート'することで抽出する。
論文参考訳（メタデータ） (2024-03-18T17:32:23Z)
Quantized Approximately Orthogonal Recurrent Neural Networks [6.524758376347808]
ORNNにおける重み行列の量子化を探求し、ほぼ直交RNN(QORNN)を量子化する。本稿では,量子化学習(QAT)と計算予測を組み合わせた2つのQORNN学習手法を提案する。最も効率的なモデルは、4ビットの量子化であっても、様々な標準ベンチマークで最先端のフル精度ORNN、LSTM、FastRNNと同様の結果が得られる。
論文参考訳（メタデータ） (2024-02-05T09:59:57Z)
Recurrent Neural Language Models as Probabilistic Finite-state Automata [66.23172872811594]
RNN LMが表現できる確率分布のクラスについて検討する。単純なRNNは確率的有限状態オートマトンの部分クラスと同値であることを示す。これらの結果は、RNN LMが表現できる分布のクラスを特徴付けるための第一歩を示す。
論文参考訳（メタデータ） (2023-10-08T13:36:05Z)
On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks [59.85314067235965]
2次次リカレントネットワーク(RNN)の理論基盤を拡大する(2次RNN) 有界時間でチューリング完備な RNN のクラスが存在することを証明している。また、記憶のない2ドルのRNNは、バニラRNNのような現代のモデルよりも優れており、正規文法の認識において繰り返し単位をゲートしていることを示す。
論文参考訳（メタデータ） (2023-09-26T06:06:47Z)
Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
論文参考訳（メタデータ） (2022-11-15T05:22:40Z)
Learning Hierarchical Structures with Differentiable Nondeterministic Stacks [25.064819128982556]
最近提案された非決定論的スタックRNN(NS-RNN)に基づくスタックRNNモデルを提案する。 NS-RNNは,5つの文脈自由言語モデリングタスクにおいて,従来のスタックRNNよりも低エントロピーを実現することを示す。また,自然言語を用いた言語モデリングを実用化するNS-RNNの限定バージョンを提案する。
論文参考訳（メタデータ） (2021-09-05T03:25:23Z)
Learning and Generalization in RNNs [11.107204912245841]
単純なリカレントニューラルネットワークがシーケンスの関数を学習できることを実証する。新しいアイデアは、我々の証明でRNNの隠れた状態から情報を抽出することを可能にする。
論文参考訳（メタデータ） (2021-05-31T18:27:51Z)
Recognizing and Verifying Mathematical Equations using Multiplicative Differential Neural Units [86.9207811656179]
メモリ拡張ニューラルネットワーク(NN)は、高次、メモリ拡張外挿、安定した性能、より高速な収束を実現することができることを示す。本モデルでは,現在の手法と比較して1.53%の精度向上を達成し,2.22%のtop-1平均精度と2.96%のtop-5平均精度を達成している。
論文参考訳（メタデータ） (2021-04-07T03:50:11Z)
A Formal Hierarchy of RNN Architectures [88.38859874233944]
階層構造は、RNNのメモリを測定する空間と、リカレント更新が重み付けされた有限状態マシンで記述できるかどうかという有理再帰という2つの形式的特性に基づいている。これらのモデルの表現能力は、複数の層を積み重ねたり、異なるプール機能で構成することでどのように拡張されるかを示す。我々は、不飽和RNNの実用的な学習能力は、同様の階層に従うと仮定する。
論文参考訳（メタデータ） (2020-04-18T00:57:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。