論文の概要: Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2106.00941v1
• Date: Wed, 2 Jun 2021 05:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2021-06-03 14:24:37.255833
• Title: Self-Training Sampling with Monolingual Data Uncertainty for Neural Machine Translation
• Title（参考訳）: ニューラルマシン翻訳のための単言語データ不確かさを用いた自己学習サンプリング
• Authors: Wenxiang Jiao, Xing Wang, Zhaopeng Tu, Shuming Shi, Michael R. Lyu, Irwin King
• Abstract要約: 並列データを補完するために最も情報に富んだ単言語文を選択することでサンプリング手順を改善することを提案する。 並列データから抽出したバイリンガル辞書を用いて単言語文の不確実性を計算した。 大規模WMT英語$Rightarrow$Germanと英語$Rightarrow$ Chineseデータセットの実験結果から,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 98.83925811122795
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Self-training has proven effective for improving NMT performance by augmenting model training with synthetic parallel data. The common practice is to construct synthetic data based on a randomly sampled subset of large-scale monolingual data, which we empirically show is sub-optimal. In this work, we propose to improve the sampling procedure by selecting the most informative monolingual sentences to complement the parallel data. To this end, we compute the uncertainty of monolingual sentences using the bilingual dictionary extracted from the parallel data. Intuitively, monolingual sentences with lower uncertainty generally correspond to easy-to-translate patterns which may not provide additional gains. Accordingly, we design an uncertainty-based sampling strategy to efficiently exploit the monolingual data for self-training, in which monolingual sentences with higher uncertainty would be sampled with higher probability. Experimental results on large-scale WMT English$\Rightarrow$German and English$\Rightarrow$Chinese datasets demonstrate the effectiveness of the proposed approach. Extensive analyses suggest that emphasizing the learning on uncertain monolingual sentences by our approach does improve the translation quality of high-uncertainty sentences and also benefits the prediction of low-frequency words at the target side.
• Abstract（参考訳）: モデルトレーニングを合成並列データで強化することにより、nmt性能の向上に有効であることが証明されている。 一般的な実践は、大規模単言語データのランダムなサンプリングされたサブセットに基づいて合成データを構築することである。 本研究では,並列データを補完する最も情報性の高い単言語文を選択することで,サンプリング手順の改善を提案する。 この目的のために,並列データから抽出したバイリンガル辞書を用いて,単言語文の不確実性を計算する。 直感的には、不確実性の低い単言語文は一般的に、追加の利得を与えない容易に翻訳できるパターンに対応する。 そこで本研究では,不確実性の高い単言語文を高い確率でサンプリングして自己学習するために,不確実性に基づくサンプリング戦略を考案する。 大規模 wmt 英語$\rightarrow$german と英語$\rightarrow$ chinese データセットの実験結果は、提案手法の有効性を示している。 広範囲な分析により,不確定な単言語文の学習を強調することで,不確実性文の翻訳品質が向上し,ターゲット側での低頻度単語の予測にも有用であることが示唆された。

関連論文リスト

• Non-Fluent Synthetic Target-Language Data Improve Neural Machine Translation [0.0]
  本研究では,非流用目標文を用いた合成学習サンプルが翻訳性能を向上させることを示す。 この改善は、元のトレーニングコーパスのサイズとは無関係である。
  論文  参考訳（メタデータ） (2024-01-29T11:52:45Z)
• Improving Simultaneous Machine Translation with Monolingual Data [94.1085601198393]
  同時機械翻訳(SiMT)は通常、全文ニューラルネットワーク翻訳(NMT)モデルからシーケンスレベルの知識蒸留(Seq-KD)によって行われる。 本稿では,Sq-KD で蒸留した外部モノリンガルデータとバイリンガルデータを組み合わせて,SiMT の学生を訓練する SiMT の改善のためにモノリンガルデータを活用することを提案する。
  論文  参考訳（メタデータ） (2022-12-02T14:13:53Z)
• Improving Multilingual Translation by Representation and Gradient Regularization [82.42760103045083]
  表現レベルと勾配レベルの両方でNMTモデルを正規化するための共同手法を提案する。 提案手法は,オフターゲット翻訳の発生率の低減とゼロショット翻訳性能の向上に有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-10T10:52:21Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• On the Language Coverage Bias for Neural Machine Translation [81.81456880770762]
  言語カバレッジバイアスは、ニューラルネットワーク翻訳(NMT)において重要である。 実験を慎重に設計することにより、トレーニングデータにおける言語カバレッジバイアスの包括的分析を行う。 本稿では,言語カバレッジバイアス問題を軽減するための,シンプルで効果的な2つのアプローチを提案する。
  論文  参考訳（メタデータ） (2021-06-07T01:55:34Z)
• A Hybrid Approach for Improved Low Resource Neural Machine Translation using Monolingual Data [0.0]
  多くの言語ペアは低リソースであるため、利用可能な並列データの量や品質は、ニューラルネットワーク翻訳(NMT)モデルをトレーニングするのに十分ではない。 本研究は, 後方モデルと前方モデルの両方が単言語的対象データから恩恵を受けられるような, 新たなアプローチを提案する。
  論文  参考訳（メタデータ） (2020-11-14T22:18:45Z)
• A Deep Reinforced Model for Zero-Shot Cross-Lingual Summarization with Bilingual Semantic Similarity Rewards [40.17497211507507]
  言語間テキスト要約は、実際は重要だが未探索の課題である。 本稿では,エンドツーエンドのテキスト要約モデルを提案する。
  論文  参考訳（メタデータ） (2020-06-27T21:51:38Z)
• Syntax-aware Data Augmentation for Neural Machine Translation [76.99198797021454]
  本稿では,ニューラルマシン翻訳のための新しいデータ拡張戦略を提案する。 文中の役割を考慮し,単語選択のための文特異的確率を設定した。 提案手法はWMT14の英語-ドイツ語データセットとIWSLT14のドイツ語-英語データセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-04-29T13:45:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。