論文の概要: EAG: Extract and Generate Multi-way Aligned Corpus for Complete Multi-lingual Neural Machine Translation

• arxiv url: http://arxiv.org/abs/2203.02180v2
• Date: Mon, 22 Jul 2024 09:22:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-24 06:25:22.886497
• Title: EAG: Extract and Generate Multi-way Aligned Corpus for Complete Multi-lingual Neural Machine Translation
• Title（参考訳）: EAG:完全多言語ニューラルネットワーク翻訳のための多言語対応コーパスの抽出と生成
• Authors: Yulin Xu, Zhen Yang, Fandong Meng, JieZhou,
• Abstract要約: EAG(Extract and Generate)は,バイリンガルデータから大規模かつ高品質なマルチウェイアライメントコーパスを構築するための2段階のアプローチである。 まず、異なる言語対から、非常に類似したソースやターゲット文を持つバイリンガルな例をペアリングして、候補に整列した例を抽出する。 次に、よく訓練された生成モデルを用いて、候補から最終的な整列例を生成する。
• 参考スコア（独自算出の注目度）: 63.88541605363555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Complete Multi-lingual Neural Machine Translation (C-MNMT) achieves superior performance against the conventional MNMT by constructing multi-way aligned corpus, i.e., aligning bilingual training examples from different language pairs when either their source or target sides are identical. However, since exactly identical sentences from different language pairs are scarce, the power of the multi-way aligned corpus is limited by its scale. To handle this problem, this paper proposes "Extract and Generate" (EAG), a two-step approach to construct large-scale and high-quality multi-way aligned corpus from bilingual data. Specifically, we first extract candidate aligned examples by pairing the bilingual examples from different language pairs with highly similar source or target sentences; and then generate the final aligned examples from the candidates with a well-trained generation model. With this two-step pipeline, EAG can construct a large-scale and multi-way aligned corpus whose diversity is almost identical to the original bilingual corpus. Experiments on two publicly available datasets i.e., WMT-5 and OPUS-100, show that the proposed method achieves significant improvements over strong baselines, with +1.1 and +1.4 BLEU points improvements on the two datasets respectively.
• Abstract（参考訳）: 完全多言語ニューラルネットワーク翻訳(C-MNMT)は,多言語対応コーパスを構築することで従来のMNMTよりも優れた性能を実現している。 しかし、異なる言語対の全く同じ文は少ないため、多方向整列コーパスのパワーはそのスケールによって制限される。 この問題に対処するため,両言語データから大規模かつ高品質な多方向コーパスを構築するための2段階のアプローチである「抽出と生成」を提案する。 具体的には、まず、異なる言語対と非常に類似したソースまたはターゲット文とをペアにすることで、候補に整列した例を抽出し、それから、よく訓練された生成モデルを用いて候補から最終的な整列した例を生成する。 この2段階のパイプラインにより、EAGは、多様性が元のバイリンガルコーパスとほぼ同一である大規模で多方向のコーパスを構築することができる。 WMT-5とOPUS-100の2つの公開データセットの実験により、提案手法は強いベースラインよりも大幅に改善され、+1.1と+1.4のBLEUポイントは2つのデータセットでそれぞれ改善された。

関連論文リスト

• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Meta-Learning a Cross-lingual Manifold for Semantic Parsing [75.26271012018861]
  新しい言語をサポートするためにセマンティックをローカライズするには、効果的な言語間一般化が必要である。 本稿では,言語間移動において,最大サンプル効率で注釈付きセマンティックを学習するための一階メタ学習アルゴリズムを提案する。 ATIS上の6つの言語にまたがる結果は、ステップの組み合わせによって、各新言語におけるソーストレーニングデータの10パーセントを正確なセマンティクスでサンプリングできることを示している。
  論文  参考訳（メタデータ） (2022-09-26T10:42:17Z)
• Multilingual Mix: Example Interpolation Improves Multilingual Neural Machine Translation [45.77509642452541]
  インスタンスレベルで言語ペアを融合するために,多言語クロスオーバーエンコーダデコーダ(mXEncDec)を導入する。 提案手法は,言語間の入力空間と出力空間の共有を促進するために,異なる言語ペアのインスタンスを共同でクロスオーバー例に補間する。
  論文  参考訳（メタデータ） (2022-03-15T03:56:22Z)
• A Unified Strategy for Multilingual Grammatical Error Correction with Pre-trained Cross-Lingual Language Model [100.67378875773495]
  本稿では,多言語文法的誤り訂正のための汎用的かつ言語に依存しない戦略を提案する。 我々の手法は言語固有の操作を使わずに多様な並列GECデータを生成する。 NLPCC 2018 Task 2のデータセット(中国語)で最先端の結果を達成し、Falko-Merlin(ドイツ語)とRULEC-GEC(ロシア語)の競合性能を得る。
  論文  参考訳（メタデータ） (2022-01-26T02:10:32Z)
• Extracting and filtering paraphrases by bridging natural language inference and paraphrasing [0.0]
  本研究では,NLIデータセットからパラフレージングデータセットを抽出し,既存のパラフレージングデータセットをクリーニングするための新しい手法を提案する。 その結果,既存の2つのパラフレージングデータセットにおいて,抽出したパラフレージングデータセットの品質と驚くほど高いノイズレベルが示された。
  論文  参考訳（メタデータ） (2021-11-13T14:06:37Z)
• Distributionally Robust Multilingual Machine Translation [94.51866646879337]
  本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。 この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。 本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
  論文  参考訳（メタデータ） (2021-09-09T03:48:35Z)
• Complete Multilingual Neural Machine Translation [44.98358050355681]
  本稿では、英語中心の並列コーパスを充実させるために、多方向整列例を用いて検討する。 このような接続パターンでMNMTを完全多言語ニューラルネットワーク翻訳(cMNMT)と呼ぶ。 対象言語のみに条件付けされた新たなトレーニングデータサンプリング戦略と組み合わせて、cMNMTは全ての言語ペアに対して競合翻訳品質を得る。
  論文  参考訳（メタデータ） (2020-10-20T13:03:48Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• Bilingual Text Extraction as Reading Comprehension [23.475200800530306]
  本稿では,トークンレベルのスパン予測として,ノイズの多い並列コーパスからバイリンガルテキストを自動的に抽出する手法を提案する。 与えられたソース文(スパン)の翻訳である対象文書のスパンを抽出するために、QANetまたは多言語BERTを使用する。
  論文  参考訳（メタデータ） (2020-04-29T23:41:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。