論文の概要: Is Encoder-Decoder Redundant for Neural Machine Translation?

• arxiv url: http://arxiv.org/abs/2210.11807v1
• Date: Fri, 21 Oct 2022 08:33:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-24 13:25:54.220657
• Title: Is Encoder-Decoder Redundant for Neural Machine Translation?
• Title（参考訳）: エンコーダデコーダはニューラルネットワークの翻訳に冗長か?
• Authors: Yingbo Gao, Christian Herold, Zijian Yang, Hermann Ney
• Abstract要約: encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
• 参考スコア（独自算出の注目度）: 44.37101354412253
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Encoder-decoder architecture is widely adopted for sequence-to-sequence modeling tasks. For machine translation, despite the evolution from long short-term memory networks to Transformer networks, plus the introduction and development of attention mechanism, encoder-decoder is still the de facto neural network architecture for state-of-the-art models. While the motivation for decoding information from some hidden space is straightforward, the strict separation of the encoding and decoding steps into an encoder and a decoder in the model architecture is not necessarily a must. Compared to the task of autoregressive language modeling in the target language, machine translation simply has an additional source sentence as context. Given the fact that neural language models nowadays can already handle rather long contexts in the target language, it is natural to ask whether simply concatenating the source and target sentences and training a language model to do translation would work. In this work, we investigate the aforementioned concept for machine translation. Specifically, we experiment with bilingual translation, translation with additional target monolingual data, and multilingual translation. In all cases, this alternative approach performs on par with the baseline encoder-decoder Transformer, suggesting that an encoder-decoder architecture might be redundant for neural machine translation.
• Abstract（参考訳）: エンコーダ-デコーダアーキテクチャはシーケンス-シーケンス間のモデリングタスクに広く採用されている。 機械翻訳では、長期の短期記憶ネットワークからトランスフォーマーネットワークへの進化とアテンション機構の導入と開発にもかかわらず、エンコーダ・デコーダは最先端モデルのためのデファクトニューラルネットワークアーキテクチャである。 隠された空間から情報をデコードする動機は単純であるが、エンコーダとモデルアーキテクチャにおけるデコーダへのエンコーダとデコードステップの厳密な分離は必ずしも必須ではない。 対象言語における自己回帰言語モデリングのタスクと比較して、機械翻訳は文脈として追加のソース文を持つ。 現在のニューラル言語モデルは、ターゲット言語のかなり長いコンテキストを既に処理できるという事実を考えると、単にソースとターゲット文を結合し、翻訳を行うための言語モデルをトレーニングするかどうかを問うのは自然である。 本稿では,上述の機械翻訳の概念について検討する。 具体的には、バイリンガル翻訳、ターゲット単言語データによる翻訳、多言語翻訳を実験する。 いずれの場合も、この代替アプローチはベースラインエンコーダ-デコーダ変換と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルネットワークの変換に冗長である可能性を示唆している。

関連論文リスト

• Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder [0.0]
  このプロジェクトはインドの地域言語、特にテルグ語、タミル語、マラヤラムに重点を置いている。 このモデルは、様々な言語対にわたる正確かつ文脈的に適切な翻訳を可能にすることを目指している。
  論文  参考訳（メタデータ） (2024-09-12T00:21:05Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Summarize and Generate to Back-translate: Unsupervised Translation of Programming Languages [86.08359401867577]
  バックトランスレーションは、並列データがほとんど、あるいは全く利用できない場合のニューラルマシン翻訳の有効性で広く知られている。 コード要約と生成による逆翻訳を提案する。 提案手法は最先端の手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-05-23T08:20:41Z)
• ED2LM: Encoder-Decoder to Language Model for Faster Document Re-ranking Inference [70.36083572306839]
  本稿では,再ランク付けのための新しいトレーニングおよび推論パラダイムを提案する。 文書形式を用いて事前訓練したエンコーダ・デコーダモデルを精査し,クエリ生成を行う。 このエンコーダ-デコーダアーキテクチャは,推論中にデコーダのみの言語モデルに分解可能であることを示す。
  論文  参考訳（メタデータ） (2022-04-25T06:26:29Z)
• DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
  本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-06-25T16:12:10Z)
• Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders [19.44855809470709]
  近年,共有エンコーダデコーダを用いたユニバーサルニューラルネットワーク翻訳(NMT)は,ゼロショット翻訳において良好な性能を示した。 ユニバーサルNMTとは異なり、共同で訓練された言語固有のエンコーダ・デコーダは、非共有モジュール間で普遍的な表現を目指す。 言語固有エンコーダ・デコーダを用いたゼロショット翻訳について検討する。
  論文  参考訳（メタデータ） (2021-02-12T15:36:33Z)
• Bi-Decoder Augmented Network for Neural Machine Translation [108.3931242633331]
  本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
  論文  参考訳（メタデータ） (2020-01-14T02:05:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。