論文の概要: Denoising-based UNMT is more robust to word-order divergence than MASS-based UNMT

• arxiv url: http://arxiv.org/abs/2303.01191v1
• Date: Thu, 2 Mar 2023 12:11:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-03 14:49:20.272314
• Title: Denoising-based UNMT is more robust to word-order divergence than MASS-based UNMT
• Title（参考訳）: UNMT は MASS ベースの UNMT よりも単語順のばらつきに頑健である
• Authors: Tamali Banerjee, Rudra Murthy V, and Pushpak Bhattacharyya
• Abstract要約: 自己教師付き事前学習によるUNMTアプローチが、言語ペア間の単語順序のばらつきに頑健であるかどうかを検討する。 事前学習された2つのモデルと,同じ自己指導型事前学習目標を比較した。 我々は,DAEに基づくUNMTアプローチが翻訳精度においてMASSより一貫して優れていることを観察した。
• 参考スコア（独自算出の注目度）: 27.85834441076481
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We aim to investigate whether UNMT approaches with self-supervised pre-training are robust to word-order divergence between language pairs. We achieve this by comparing two models pre-trained with the same self-supervised pre-training objective. The first model is trained on language pairs with different word-orders, and the second model is trained on the same language pairs with source language re-ordered to match the word-order of the target language. Ideally, UNMT approaches which are robust to word-order divergence should exhibit no visible performance difference between the two configurations. In this paper, we investigate two such self-supervised pre-training based UNMT approaches, namely Masked Sequence-to-Sequence Pre-Training, (MASS) (which does not have shuffling noise) and Denoising AutoEncoder (DAE), (which has shuffling noise). We experiment with five English$\rightarrow$Indic language pairs, i.e., en-hi, en-bn, en-gu, en-kn, and en-ta) where word-order of the source language is SVO (Subject-Verb-Object), and the word-order of the target languages is SOV (Subject-Object-Verb). We observed that for these language pairs, DAE-based UNMT approach consistently outperforms MASS in terms of translation accuracies. Moreover, bridging the word-order gap using reordering improves the translation accuracy of MASS-based UNMT models, while it cannot improve the translation accuracy of DAE-based UNMT models. This observation indicates that DAE-based UNMT is more robust to word-order divergence than MASS-based UNMT. Word-shuffling noise in DAE approach could be the possible reason for the approach being robust to word-order divergence.
• Abstract（参考訳）: 自己教師付き事前学習によるunmtアプローチが言語ペア間の単語順の発散にロバストかどうかを検討する。 同じ自己教師付き事前訓練目標と事前訓練された2つのモデルを比較してこれを達成する。 第1モデルは、異なる単語順序の言語ペアで訓練され、第2モデルは、ターゲット言語の単語順序に合うように、ソース言語を並べ替えた同じ言語ペアで訓練される。 理想的には、単語順のばらつきに頑健なUNMTアプローチは、2つの構成間に目に見える性能差を示さなければならない。 本稿では,MASS (Masked Sequence-to-Sequence Pre-Training) とDAE (Denoising AutoEncoder) の2つの手法について検討する。 我々は5つの英語$\rightarrow$Indic言語ペア、すなわちen-hi, en-bn, en-gu, en-kn, en-taで実験を行い、ソース言語の語順はSVO(Subject-Verb-Object)、ターゲット言語の語順はSOV(Subject-Object-Verb)である。 これらの言語ペアに対して,DAEをベースとしたUNMTアプローチは,翻訳精度においてMASSよりも一貫して優れていた。 さらに,単語の順序差を並べ替えることで,MASSベースのUNMTモデルの翻訳精度が向上するが,DAEベースのUNMTモデルの翻訳精度は向上しない。 この結果から,DAEベースのUNMTはMASSベースのUNMTよりも単語順のばらつきに強いことが示唆された。 DAEアプローチにおける単語シャッフルノイズは、単語順序の発散に頑健なアプローチの可能性がある。

関連論文リスト

• Towards Effective Disambiguation for Machine Translation with Large Language Models [65.80775710657672]
  我々は「あいまいな文」を翻訳する大規模言語モデルの能力について研究する。 実験の結果,提案手法はDeepLやNLLBといった最先端システムと5つの言語方向のうち4つで一致し,性能を向上できることがわかった。
  論文  参考訳（メタデータ） (2023-09-20T22:22:52Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Understanding and Improving Sequence-to-Sequence Pretraining for Neural Machine Translation [48.50842995206353]
  本研究は,Seq2Seqプレトレーニングと従来のエンコーダによるNMTの事前トレーニングとの主な違いである,共同事前学習デコーダの影響について検討する。 我々は、ドメインと目的の相違を緩和するために、ドメイン内の事前訓練と入力適応という、シンプルで効果的な戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-16T07:36:28Z)
• Bridging the Data Gap between Training and Inference for Unsupervised Neural Machine Translation [49.916963624249355]
  UNMTモデルは、翻訳されたソースと推論中の自然言語で擬似並列データに基づいて訓練される。 トレーニングと推論のソース差はUNMTモデルの翻訳性能を妨げている。 本稿では、擬似並列データ自然言語を同時に用いたオンライン自己学習手法を提案する。
  論文  参考訳（メタデータ） (2022-03-16T04:50:27Z)
• Exploring Unsupervised Pretraining Objectives for Machine Translation [99.5441395624651]
  教師なし言語間事前訓練は、ニューラルマシン翻訳(NMT)の強力な結果を得た ほとんどのアプローチは、入力の一部をマスキングしてデコーダで再構成することで、シーケンス・ツー・シーケンスアーキテクチャにマスク付き言語モデリング(MLM)を適用する。 マスキングと、実際の(完全な)文に似た入力を生成する代替目的を、文脈に基づいて単語を並べ替えて置き換えることにより比較する。
  論文  参考訳（メタデータ） (2021-06-10T10:18:23Z)
• Crosslingual Embeddings are Essential in UNMT for Distant Languages: An English to IndoAryan Case Study [28.409618457653135]
  言語間埋め込みによるUNMTモデルの埋め込み層の初期化は,既存の手法よりもBLEUスコアが大幅に向上したことを示す。 提案手法は,MASS (Masked Sequence to Sequence) とDAE (Denoising Autoencoder) UNMT (Denoising Autoencoder) UNMT) を用いて実験を行った。
  論文  参考訳（メタデータ） (2021-06-09T11:31:27Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Uncertainty-Aware Semantic Augmentation for Neural Machine Translation [37.555675157198145]
  本稿では,複数の意味的に等価なソース文間の普遍的な意味情報を明示的にキャプチャする不確実性を考慮した意味拡張を提案する。 我々のアプローチは、強いベースラインと既存の手法を大きく上回る。
  論文  参考訳（メタデータ） (2020-10-09T07:48:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。