論文の概要: Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models

• arxiv url: http://arxiv.org/abs/2212.07752v2
• Date: Sat, 13 May 2023 08:45:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-16 23:56:23.328736
• Title: Advancing Multilingual Pre-training: TRIP Triangular Document-level Pre-training for Multilingual Language Models
• Title（参考訳）: 多言語事前学習の促進:多言語モデルのための三角形文書レベル事前学習
• Authors: Hongyuan Lu, Haoyang Huang, Shuming Ma, Dongdong Zhang, Wai Lam, Furu Wei
• Abstract要約: 我々は,従来のモノリンガルおよびバイリンガルの目的を,グラフト法と呼ばれる新しい手法で三言語的目的に加速する分野において,最初のテキストbfTriangular Document-level textbfPre-training(textbfTRIP)を提案する。 TRIPは、3つの多言語文書レベルの機械翻訳ベンチマークと1つの言語間抽象的な要約ベンチマークで、最大3.11d-BLEU点と8.9ROUGE-L点の一貫性のある改善を含む、強力なSOTAスコアを達成している。
• 参考スコア（独自算出の注目度）: 107.83158521848372
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite the success of multilingual sequence-to-sequence pre-training, most existing approaches rely on document-level monolingual corpora in many different languages, sentence-level bilingual corpora,\footnote{In this paper, we use `bilingual corpora' to denote parallel corpora with `bilingual translation pairs' in many different language pairs, each consisting of two sentences/documents with the same meaning written in different languages. We use `trilingual corpora' to denote parallel corpora with `trilingual translation pairs' in many different language combinations, each consisting of three sentences/documents.} and sometimes synthetic document-level bilingual corpora. This hampers the performance with cross-lingual document-level tasks such as document-level translation. Therefore, we propose to mine and leverage document-level trilingual parallel corpora to improve sequence-to-sequence multilingual pre-training. We present \textbf{Tri}angular Document-level \textbf{P}re-training (\textbf{TRIP}), which is the first in the field to accelerate the conventional monolingual and bilingual objectives into a trilingual objective with a novel method called Grafting. Experiments show that TRIP achieves several strong state-of-the-art (SOTA) scores on three multilingual document-level machine translation benchmarks and one cross-lingual abstractive summarization benchmark, including consistent improvements by up to 3.11 d-BLEU points and 8.9 ROUGE-L points.
• Abstract（参考訳）: 多言語系列から列への事前学習の成功にもかかわらず、既存のアプローチの多くは、多くの異なる言語における文書レベルの単言語コーパス、文レベルの複言語コーパス、\footnote{in the paperでは、多くの異なる言語ペアにおいて、平行コーパスと「バイリンガル翻訳ペア」を表すために「バイリンガルコーパス」を使用し、それぞれが異なる言語で書かれた2つの文/文書からなる。 我々は,3つの文/文書からなる多言語の組み合わせで,'三言語翻訳ペア'と平行コーパスを表すために,'三言語コーパス'を用いる。 時に、合成文書レベルのバイリンガルコーパス。 これは、文書レベルの変換のような言語間文書レベルのタスクでパフォーマンスを損なう。 そこで本研究では,文書レベルの三言語並列コーパスを用いて,多言語前訓練のシーケンシャル・トゥ・シークエンスを改善することを提案する。 従来の単言語とバイリンガルの目標を三言語目標に加速する最初の手法として,グラフトリングと呼ばれる新しい手法を用いて,文書レベル \textbf{p}re-training (\textbf{trip}) を提案する。 実験により、TRIPは3つの多言語文書レベルの機械翻訳ベンチマークと1つの言語間の抽象的要約ベンチマークにおいて、最大3.11d-BLEU点と8.9ROUGE-L点の一貫性のある改善を含む、強力なSOTAスコアを達成することが示された。

関連論文リスト

• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Multilingual Pre-training with Language and Task Adaptation for Multilingual Text Style Transfer [14.799109368073548]
  事前学習したSeq2seqモデルmBARTを多言語テキストスタイルの転送に活用する。 機械翻訳データとゴールドアライメントの英語文を使えば、最先端の結果が得られる。
  論文  参考訳（メタデータ） (2022-03-16T11:27:48Z)
• Models and Datasets for Cross-Lingual Summarisation [78.56238251185214]
  対象言語における多文要約に関連付けられたソース言語において,長い文書を含む言語間要約コーパスを提案する。 コーパスは、チェコ語、英語、フランス語、ドイツ語の4つの言語について、12の言語対と指示をカバーしている。 言語対応のウィキペディアのタイトルから、主節と記事の本体を組み合わせることで、ウィキペディアから言語横断的な文書要約インスタンスを導出する。
  論文  参考訳（メタデータ） (2022-02-19T11:55:40Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies [0.0]
  本稿では,並列あるいは同等のコーパスを必要としない教師なし文書類似性アルゴリズムを提案する。 このアルゴリズムは、文書から自動的に作成されたトピックを多言語ラベルでアノテートします。 JCR-Acquis corporaの英語、スペイン語、フランス語版で実施された実験は、同様のコンテンツによる文書の分類と分類に関する有望な結果を明らかにします。
  論文  参考訳（メタデータ） (2020-12-15T10:42:40Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。