論文の概要: Duplex Sequence-to-Sequence Learning for Reversible Machine Translation

• arxiv url: http://arxiv.org/abs/2105.03458v1
• Date: Fri, 7 May 2021 18:21:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-05-14 05:34:03.377003
• Title: Duplex Sequence-to-Sequence Learning for Reversible Machine Translation
• Title（参考訳）: 可逆機械翻訳のための二重系列列列学習
• Authors: Zaixiang Zheng, Hao Zhou, Shujian Huang, Jiajun Chen, Jingjing Xu and Lei Li
• Abstract要約: 機械翻訳のようなシーケンス・ツー・シーケンス(seq2seq)問題は双方向である。 我々は、em二重化seq2seqニューラルネットワークを提案し、機械翻訳に適用する。 広く使用されている機械翻訳ベンチマークの実験は、REDERがリバーシブル機械翻訳の最初の成功を達成することを検証します。
• 参考スコア（独自算出の注目度）: 53.924941333388155
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Sequence-to-sequence (seq2seq) problems such as machine translation are bidirectional, which naturally derive a pair of directional tasks and two directional learning signals. However, typical seq2seq neural networks are {\em simplex} that only model one unidirectional task, which cannot fully exploit the potential of bidirectional learning signals from parallel data. To address this issue, we propose a {\em duplex} seq2seq neural network, REDER (Reversible Duplex Transformer), and apply it to machine translation. The architecture of REDER has two ends, each of which specializes in a language so as to read and yield sequences in that language. As a result, REDER can simultaneously learn from the bidirectional signals, and enables {\em reversible machine translation} by simply flipping the input and output ends, Experiments on widely-used machine translation benchmarks verify that REDER achieves the first success of reversible machine translation, which helps obtain considerable gains over several strong baselines.
• Abstract（参考訳）: 機械翻訳などのシーケンシャル・ツー・シークエンス(seq2seq)問題は双方向であり、方向性のタスクと2つの方向の学習信号のペアを自然に導出する。 しかし、典型的なseq2seqニューラルネットワークは、1つの一方向タスクのみをモデル化し、並列データから双方向学習信号の可能性を十分に活用できない。 この問題に対処するために,本論文では,sep2seqニューラルネットワーク,rereder(reversible duplex transformer)を提案し,機械翻訳に適用する。 REDERのアーキテクチャには2つの端があり、それぞれがその言語のシーケンスを読み、取得するために言語を専門にしている。 その結果、rederは双方向信号から同時に学習することができ、入力と出力を単純に反転させることで「em reversible machine translation」を可能にする。

関連論文リスト

• Duplex Diffusion Models Improve Speech-to-Speech Translation [1.4649095013539173]
  音声から音声への翻訳は、自然に2つの方向を持つシーケンスからシーケンスまでの学習タスクである。 両面に拡散確率モデルを適用した2相拡散モデルを提案する。 我々のモデルは、入力と出力の端を反転させることで、可逆的な音声翻訳を可能にする。
  論文  参考訳（メタデータ） (2023-05-22T01:39:40Z)
• Hierarchical Phrase-based Sequence-to-Sequence Learning [94.10257313923478]
  本稿では、学習中の帰納バイアスの源として階層的フレーズを取り入れ、推論中の明示的な制約として、標準的なシーケンス・ツー・シーケンス(seq2seq)モデルの柔軟性を維持するニューラルトランスデューサについて述べる。 本手法では,木が原文と対象句を階層的に整列するブラケット文法に基づく識別的導出法と,整列した句を1対1で翻訳するニューラルネットワークセク2セックモデルという2つのモデルを訓練する。
  論文  参考訳（メタデータ） (2022-11-15T05:22:40Z)
• Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation [9.279287354043289]
  ニューラルネットワーク翻訳のための双方向デコーダを用いた自己知識蒸留(SBD-NMT) 我々は、フォワードデコーダに効果的な正規化手法として機能する後方デコーダをデプロイする。 実験により,本手法は複数の機械翻訳データセットの強力なトランスフォーマーベースラインよりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-10T09:21:28Z)
• s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning [47.30689555136054]
  条件付き生成タスクに予めトレーニングされたトランスフォーマーを採用するシーケンス・ツー・シーケンスの微調整ツールキット s2s-ft を提案する。 S2s-ftは抽象的な要約と質問生成のベンチマークで高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-26T12:45:34Z)
• Source and Target Bidirectional Knowledge Distillation for End-to-end Speech Translation [88.78138830698173]
  外部テキストベースNMTモデルからのシーケンスレベルの知識蒸留(SeqKD)に注目した。 E2E-STモデルを訓練し、パラフレーズ転写を1つのデコーダで補助タスクとして予測する。
  論文  参考訳（メタデータ） (2021-04-13T19:00:51Z)
• Dual-decoder Transformer for Joint Automatic Speech Recognition and Multilingual Speech Translation [71.54816893482457]
  自動音声認識(ASR)と多言語音声翻訳(ST)を共同で行う新しいモデルアーキテクチャであるデュアルデコーダトランスフォーマを導入する。 我々のモデルはオリジナルのTransformerアーキテクチャに基づいているが、2つのデコーダで構成されており、それぞれが1つのタスク(ASRまたはST)を担っている。
  論文  参考訳（メタデータ） (2020-11-02T04:59:50Z)
• Efficient Wait-k Models for Simultaneous Machine Translation [46.01342928010307]
  同時機械翻訳は、入力シーケンス全体が利用可能になる前に出力生成を開始することで構成される。 Wait-kデコーダは、この問題に対してシンプルだが効率的なアプローチを提供する。 IWSLTデータセットを用いた音声コーパスの低リソース設定におけるwait-k復号の動作について検討する。
  論文  参考訳（メタデータ） (2020-05-18T11:14:23Z)
• Multi-level Head-wise Match and Aggregation in Transformer for Textual Sequence Matching [87.97265483696613]
  そこで本研究では,複数のレベルにおける頭部のマッチング表現を学習することで,Transformerとのシーケンスペアマッチングを新たに提案する。 実験の結果,提案手法は複数のタスクにおいて新しい最先端性能を実現することができることがわかった。
  論文  参考訳（メタデータ） (2020-01-20T20:02:02Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。