論文の概要: Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT

• arxiv url: http://arxiv.org/abs/2109.01396v1
• Date: Fri, 3 Sep 2021 09:38:50 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-06 14:01:34.256678
• Title: Language Modeling, Lexical Translation, Reordering: The Training Process of NMT through the Lens of Classical SMT
• Title（参考訳）: 言語モデル、語彙翻訳、再順序付け:古典的smtのレンズを通してのnmtの訓練過程
• Authors: Elena Voita, Rico Sennrich, Ivan Titov
• Abstract要約: ニューラルマシン翻訳は、翻訳プロセス全体をモデル化するために、単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程でどのように異なる能力を獲得するのかは、まだ明らかになっていない。
• 参考スコア（独自算出の注目度）: 64.1841519527504
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differently from the traditional statistical MT that decomposes the translation task into distinct separately learned components, neural machine translation uses a single neural network to model the entire translation process. Despite neural machine translation being de-facto standard, it is still not clear how NMT models acquire different competences over the course of training, and how this mirrors the different models in traditional SMT. In this work, we look at the competences related to three core SMT components and find that during training, NMT first focuses on learning target-side language modeling, then improves translation quality approaching word-by-word translation, and finally learns more complicated reordering patterns. We show that this behavior holds for several models and language pairs. Additionally, we explain how such an understanding of the training process can be useful in practice and, as an example, show how it can be used to improve vanilla non-autoregressive neural machine translation by guiding teacher model selection.
• Abstract（参考訳）: 翻訳タスクを個別に学習されたコンポーネントに分解する従来の統計MTとは異なり、ニューラルネットワークは翻訳プロセス全体をモデル化するために単一のニューラルネットワークを使用する。 ニューラルネットワーク翻訳はデファクトスタンダードであるにもかかわらず、NMTモデルがトレーニングの過程で異なる能力を取得する方法や、従来のSMTの異なるモデルのミラーリング方法がまだ明確ではない。 本研究では,3つの中核SMTコンポーネントに関連する能力について考察し,NMTはまず目標言語モデリングを学習し,単語間翻訳に近づく翻訳品質を改善し,さらに複雑な順序付けパターンを学習する。 この振る舞いは、いくつかのモデルと言語ペアに当てはまることを示す。 さらに,このような学習過程の理解が実際にどのように役立つかを説明し,例えば教師モデル選択を導くことによって,バニラ非自己回帰型ニューラルマシン翻訳を改善する方法を示す。

関連論文リスト

• On the Shortcut Learning in Multilingual Neural Machine Translation [95.30470845501141]
  本研究は、多言語ニューラルマシン翻訳(MNMT)において、一般的に語られるオフターゲット問題を再考する。 ターゲット外の問題は、(非中心的、中心的でない)言語マッピングのショートカットが過度に適合していることに起因しています。 学習力学の解析によると、ショートカット学習はモデルトレーニングの後期に一般的に発生する。
  論文  参考訳（メタデータ） (2024-11-15T21:09:36Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Self-supervised and Supervised Joint Training for Resource-rich Machine Translation [30.502625878505732]
  テキスト表現の自己教師付き事前学習が低リソースニューラルネットワーク翻訳(NMT)に成功している 我々は,NMTモデルを最適化するために,自己教師付き学習と教師付き学習を組み合わせた共同学習手法である$F$-XEnDecを提案する。
  論文  参考訳（メタデータ） (2021-06-08T02:35:40Z)
• An empirical analysis of phrase-based and neural machine translation [0.0]
  機械翻訳(MT)の2つの一般的なタイプは、フレーズベースとニューラルマシン翻訳システムです。 フレーズベースおよびニューラルMTシステムにおける重要モデルの挙動について検討する。
  論文  参考訳（メタデータ） (2021-03-04T15:28:28Z)
• Assessing the Bilingual Knowledge Learned by Neural Machine Translation Models [72.56058378313963]
  NMTモデルで学習したバイリンガル知識をフレーズテーブルで評価することで,このギャップを埋める。 NMTモデルは、単純なものから複雑なものまでパターンを学習し、トレーニング例から本質的なバイリンガル知識を抽出する。
  論文  参考訳（メタデータ） (2020-04-28T03:44:34Z)
• Neural Machine Translation: Challenges, Progress and Future [62.75523637241876]
  機械翻訳(英: Machine translation, MT)は、コンピュータを利用して人間の言語を自動翻訳する技術である。 ニューラルマシン翻訳(NMT)は、ディープニューラルネットワークを用いたソース言語とターゲット言語間の直接マッピングをモデル化する。 この記事では、NMTフレームワークをレビューし、NMTの課題について論じ、最近のエキサイティングな進歩を紹介します。
  論文  参考訳（メタデータ） (2020-04-13T07:53:57Z)
• Learning Contextualized Sentence Representations for Document-Level Neural Machine Translation [59.191079800436114]
  文書レベルの機械翻訳は、文間の依存関係をソース文の翻訳に組み込む。 本稿では,ニューラルマシン翻訳(NMT)を訓練し,文のターゲット翻訳と周辺文の双方を予測することによって,文間の依存関係をモデル化するフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-30T03:38:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。