論文の概要: Bi-Decoder Augmented Network for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2001.04586v1
• Date: Tue, 14 Jan 2020 02:05:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-11 11:59:03.915714
• Title: Bi-Decoder Augmented Network for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のためのバイデコーダ拡張ネットワーク
• Authors: Boyuan Pan, Yazheng Yang, Zhou Zhao, Yueting Zhuang, Deng Cai
• Abstract要約: 本稿では,ニューラルマシン翻訳タスクのためのBi-Decoder Augmented Network (BiDAN)を提案する。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語と共同でトレーニングすることで、共有エンコーダは言語に依存しない意味空間を生成することができる。
• 参考スコア（独自算出の注目度）: 108.3931242633331
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Machine Translation (NMT) has become a popular technology in recent years, and the encoder-decoder framework is the mainstream among all the methods. It's obvious that the quality of the semantic representations from encoding is very crucial and can significantly affect the performance of the model. However, existing unidirectional source-to-target architectures may hardly produce a language-independent representation of the text because they rely heavily on the specific relations of the given language pairs. To alleviate this problem, in this paper, we propose a novel Bi-Decoder Augmented Network (BiDAN) for the neural machine translation task. Besides the original decoder which generates the target language sequence, we add an auxiliary decoder to generate back the source language sequence at the training time. Since each decoder transforms the representations of the input text into its corresponding language, jointly training with two target ends can make the shared encoder has the potential to produce a language-independent semantic space. We conduct extensive experiments on several NMT benchmark datasets and the results demonstrate the effectiveness of our proposed approach.
• Abstract（参考訳）: 近年,ニューラル機械翻訳(NMT)が普及し,エンコーダ・デコーダフレームワークが主流となっている。 エンコーディングからのセマンティック表現の品質が非常に重要であり、モデルの性能に大きな影響を与えることは明らかです。 しかし、既存の一方向のソース対ターゲットアーキテクチャは、与えられた言語ペアの特定の関係に重きを置き、言語に依存しないテキスト表現を生成することはほとんどない。 本稿では,この問題を解決するために,ニューラルマシン翻訳タスクのための新しいバイデコーダ拡張ネットワーク(bidan)を提案する。 対象言語シーケンスを生成する元のデコーダに加えて、トレーニング時にソース言語シーケンスを生成する補助デコーダを追加します。 各デコーダは入力されたテキストの表現を対応する言語に変換するため、2つの目的語との共同訓練により、共有エンコーダは言語に依存しない意味空間を生成することができる。 複数のnmtベンチマークデータセットについて広範な実験を行い,提案手法の有効性を実証した。

関連論文リスト

• Machine Translation with Large Language Models: Decoder Only vs. Encoder-Decoder [0.0]
  このプロジェクトはインドの地域言語、特にテルグ語、タミル語、マラヤラムに重点を置いている。 このモデルは、様々な言語対にわたる正確かつ文脈的に適切な翻訳を可能にすることを目指している。
  論文  参考訳（メタデータ） (2024-09-12T00:21:05Z)
• i-Code V2: An Autoregressive Generation Framework over Vision, Language, and Speech Data [101.52821120195975]
  i-Code V2は、視覚、言語、音声データの組み合わせから自然言語を生成することができる最初のモデルである。 システムは、デュアルモダリティとシングルモダリティのデータセットの大規模なコレクション上で、エンドツーエンドで事前訓練される。
  論文  参考訳（メタデータ） (2023-05-21T01:25:44Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Is Encoder-Decoder Redundant for Neural Machine Translation? [44.37101354412253]
  encoder-decoderアーキテクチャは現在でも、最先端モデルのデファクトニューラルネットワークアーキテクチャである。 本研究は,バイリンガル翻訳,ターゲット単言語データを用いた翻訳,多言語翻訳の実験である。 この代替アプローチは、ベースラインエンコーダ-デコーダ変換器と同等に動作し、エンコーダ-デコーダアーキテクチャがニューラルマシン翻訳に冗長である可能性を示唆している。
  論文  参考訳（メタデータ） (2022-10-21T08:33:55Z)
• Look Backward and Forward: Self-Knowledge Distillation with Bidirectional Decoder for Neural Machine Translation [9.279287354043289]
  ニューラルネットワーク翻訳のための双方向デコーダを用いた自己知識蒸留(SBD-NMT) 我々は、フォワードデコーダに効果的な正規化手法として機能する後方デコーダをデプロイする。 実験により,本手法は複数の機械翻訳データセットの強力なトランスフォーマーベースラインよりもはるかに優れていることがわかった。
  論文  参考訳（メタデータ） (2022-03-10T09:21:28Z)
• DeltaLM: Encoder-Decoder Pre-training for Language Generation and Translation by Augmenting Pretrained Multilingual Encoders [92.90543340071007]
  本稿では,事前訓練された多言語エンコーダデコーダモデルDeltaLMを紹介する。 具体的には,事前学習した多言語エンコーダをデコーダで拡張し,自己指導型で事前学習する。 実験により、DeltaLMは自然言語生成と翻訳の両方のタスクにおいて、様々な強力なベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-06-25T16:12:10Z)
• Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders [19.44855809470709]
  近年,共有エンコーダデコーダを用いたユニバーサルニューラルネットワーク翻訳(NMT)は,ゼロショット翻訳において良好な性能を示した。 ユニバーサルNMTとは異なり、共同で訓練された言語固有のエンコーダ・デコーダは、非共有モジュール間で普遍的な表現を目指す。 言語固有エンコーダ・デコーダを用いたゼロショット翻訳について検討する。
  論文  参考訳（メタデータ） (2021-02-12T15:36:33Z)
• VX2TEXT: End-to-End Learning of Video-Based Text Generation From Multimodal Inputs [103.99315770490163]
  本稿では,ビデオ+テキスト,音声,音声によるマルチモーダル入力からテキストを生成するフレームワークを提案する。 実験により、一つのアーキテクチャに基づくアプローチは、3つのビデオベースのテキスト生成タスクにおいて最先端のタスクより優れていることが示された。
  論文  参考訳（メタデータ） (2021-01-28T15:22:36Z)
• On the Sub-Layer Functionalities of Transformer Decoder [74.83087937309266]
  トランスフォーマーをベースとしたデコーダは,ソースおよびターゲット言語からの情報をいかに活用するかを検討する。 これらの知見に基づき,各トランスフォーマーデコーダ層内の残フィードフォワードモジュールは,性能の低下を最小限に抑えられることを示した。
  論文  参考訳（メタデータ） (2020-10-06T11:50:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。