論文の概要: Learning Source Phrase Representations for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2006.14405v1
• Date: Thu, 25 Jun 2020 13:43:11 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 04:07:37.924472
• Title: Learning Source Phrase Representations for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための学習ソース句表現
• Authors: Hongfei Xu and Josef van Genabith and Deyi Xiong and Qiuhui Liu and Jingyi Zhang
• Abstract要約: 本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
• 参考スコア（独自算出の注目度）: 65.94387047871648
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Transformer translation model (Vaswani et al., 2017) based on a multi-head attention mechanism can be computed effectively in parallel and has significantly pushed forward the performance of Neural Machine Translation (NMT). Though intuitively the attentional network can connect distant words via shorter network paths than RNNs, empirical analysis demonstrates that it still has difficulty in fully capturing long-distance dependencies (Tang et al., 2018). Considering that modeling phrases instead of words has significantly improved the Statistical Machine Translation (SMT) approach through the use of larger translation blocks ("phrases") and its reordering ability, modeling NMT at phrase level is an intuitive proposal to help the model capture long-distance relationships. In this paper, we first propose an attentive phrase representation generation mechanism which is able to generate phrase representations from corresponding token representations. In addition, we incorporate the generated phrase representations into the Transformer translation model to enhance its ability to capture long-distance relationships. In our experiments, we obtain significant improvements on the WMT 14 English-German and English-French tasks on top of the strong Transformer baseline, which shows the effectiveness of our approach. Our approach helps Transformer Base models perform at the level of Transformer Big models, and even significantly better for long sentences, but with substantially fewer parameters and training steps. The fact that phrase representations help even in the big setting further supports our conjecture that they make a valuable contribution to long-distance relations.
• Abstract（参考訳）: マルチヘッドアテンション機構に基づくトランスフォーマー変換モデル(Vaswani et al., 2017)を並列に効率的に計算し,ニューラルマシン翻訳(NMT)の性能を著しく推し進めている。 直感的には、注意ネットワークはRNNよりも短いネットワークパスを介して遠くの単語を繋ぐことができるが、実験的な分析によって、長距離依存を完全に把握するのは難しいことが示されている(Tang et al., 2018)。 単語ではなくフレーズのモデリングは、より大きな翻訳ブロック("phrases")とその再順序付け能力を用いて統計機械翻訳(statistical machine translation, smt)アプローチを大幅に改善したと考えると、句レベルでのnmtのモデリングは、モデルが長距離関係を捉えるのに役立つ直感的な提案である。 本稿では,まず,対応するトークン表現から句表現を生成するための注意的句表現生成機構を提案する。 さらに,生成した句表現をトランスフォーマー翻訳モデルに取り入れ,長距離関係を捉える能力を高める。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクを改良し,本手法の有効性を示した。 提案手法は,トランスフォーマーのベースモデルがトランスフォーマーの大型モデルと同等の性能を発揮することを支援し,長文ではさらに優れているが,パラメータやトレーニングステップは大幅に少ない。 句表現が大局的にさえ役立つという事実は、長距離関係に貴重な貢献をしているという我々の予想をさらに裏付ける。

関連論文リスト

• Low-resource neural machine translation with morphological modeling [3.3721926640077804]
  ニューラルマシン翻訳(NMT)における形態的モデリングは、オープン語彙機械翻訳を実現するための有望なアプローチである。 低リソース環境における複雑な形態をモデル化するためのフレームワークソリューションを提案する。 パブリックドメインのパラレルテキストを用いた英訳であるKinyarwandaについて,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2024-04-03T01:31:41Z)
• Pointer-Generator Networks for Low-Resource Machine Translation: Don't Copy That! [13.120825574589437]
  本研究では,Transformer-based neural machine translation (NMT) が高リソース環境において非常に有効であることを示す。 このモデルでは,近縁な言語対と遠縁な言語対に対する改善が示されていない。 この動作の理由に関する議論は、LR NMTのいくつかの一般的な課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2024-03-16T16:17:47Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Viewing Knowledge Transfer in Multilingual Machine Translation Through a Representational Lens [15.283483438956264]
  本稿では,言語間の表現的類似度を測定するRepresentational Transfer potential (RTP)を紹介する。 RTPは正と負の両方の転送(干渉)を計測できることを示し、RTPは翻訳品質の変化と強く相関していることを示した。 我々は,言語間で表現をより不変にするための補助的類似性損失を用いた新しい学習手法を開発した。
  論文  参考訳（メタデータ） (2023-05-19T09:36:48Z)
• Pre-Training a Graph Recurrent Network for Language Representation [34.4554387894105]
  本稿では,言語モデルの事前学習のためのグラフリカレントネットワークについて考察し,各シーケンスのグラフ構造を局所的なトークンレベルの通信で構築する。 我々のモデルは、既存の注意に基づくモデルよりもコンテキスト化された特徴冗長性が少なく、より多様な出力を生成することができる。
  論文  参考訳（メタデータ） (2022-09-08T14:12:15Z)
• Learning to Generalize to More: Continuous Semantic Augmentation for Neural Machine Translation [50.54059385277964]
  CsaNMT(Continuous Semantic Augmentation)と呼ばれる新しいデータ拡張パラダイムを提案する。 CsaNMTは各トレーニングインスタンスを、同じ意味の下で適切なリテラル式をカバーできる隣接領域で拡張する。
  論文  参考訳（メタデータ） (2022-04-14T08:16:28Z)
• Improving Neural Machine Translation by Bidirectional Training [85.64797317290349]
  我々は、ニューラルネットワーク翻訳のためのシンプルで効果的な事前学習戦略である双方向トレーニング(BiT)を提案する。 具体的には、初期モデルのパラメータを双方向に更新し、正常にモデルを調整する。 実験の結果,BiTは8つの言語対上の15の翻訳タスクに対して,SOTAニューラルマシン翻訳性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2021-09-16T07:58:33Z)
• Enriching Non-Autoregressive Transformer with Syntactic and SemanticStructures for Neural Machine Translation [54.864148836486166]
  本稿では,言語の明示的な構文構造と意味構造を非自己回帰トランスフォーマーに組み込むことを提案する。 我々のモデルは、最先端の非自己回帰モデルと比較して翻訳品質を保ちながら、はるかに高速な速度を実現している。
  論文  参考訳（メタデータ） (2021-01-22T04:12:17Z)
• Explicit Reordering for Neural Machine Translation [50.70683739103066]
  Transformer-based neural machine translation (NMT)では、位置符号化機構は、自己アテンションネットワークが順序依存でソース表現を学習するのに役立つ。 本研究では,トランスフォーマーベースのNMTに対して,このリオーダ情報を明示的にモデル化する新しいリオーダ手法を提案する。 WMT14, WAT ASPEC日本語訳, WMT17中国語訳の実証結果から, 提案手法の有効性が示唆された。
  論文  参考訳（メタデータ） (2020-04-08T05:28:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。