論文の概要: Cross-lingual Retrieval for Iterative Self-Supervised Training

• arxiv url: http://arxiv.org/abs/2006.09526v2
• Date: Mon, 26 Oct 2020 23:25:31 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-20 19:01:02.068077
• Title: Cross-lingual Retrieval for Iterative Self-Supervised Training
• Title（参考訳）: 反復的自己監督訓練のための言語横断検索
• Authors: Chau Tran, Yuqing Tang, Xian Li, Jiatao Gu
• Abstract要約: 言語間のアライメントは、Seq2seqモデルを、自身のエンコーダ出力を用いてマイニングされた文対上で訓練することでさらに改善することができる。 我々は,反復型自己教師型訓練のための言語間検索という新しい手法を開発した。
• 参考スコア（独自算出の注目度）: 66.3329263451598
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent studies have demonstrated the cross-lingual alignment ability of multilingual pretrained language models. In this work, we found that the cross-lingual alignment can be further improved by training seq2seq models on sentence pairs mined using their own encoder outputs. We utilized these findings to develop a new approach -- cross-lingual retrieval for iterative self-supervised training (CRISS), where mining and training processes are applied iteratively, improving cross-lingual alignment and translation ability at the same time. Using this method, we achieved state-of-the-art unsupervised machine translation results on 9 language directions with an average improvement of 2.4 BLEU, and on the Tatoeba sentence retrieval task in the XTREME benchmark on 16 languages with an average improvement of 21.5% in absolute accuracy. Furthermore, CRISS also brings an additional 1.8 BLEU improvement on average compared to mBART, when finetuned on supervised machine translation downstream tasks.
• Abstract（参考訳）: 近年,多言語事前学習言語モデルの言語間アライメント能力が実証されている。 本研究では,seq2seqモデルを自身のエンコーダ出力を用いてマイニングした文対でトレーニングすることで,言語間アライメントをさらに改善できることを示す。 これらの知見を応用して, 反復的自己指導訓練(CRISS)のための言語横断的検索手法を開発し, マイニングとトレーニングを反復的に適用し, 言語横断的アライメントと翻訳能力の向上を実現した。 本手法を用いて, 平均精度2.4BLEU, 絶対精度21.5%向上した16言語を対象としたXTREMEベンチマークにおいて, タトエバ文検索タスクにおいて, 平均精度2.4BLEUで9つの言語方向の機械翻訳結果を得た。 さらに、CRISSは、教師付き機械翻訳の下流タスクを微調整した場合、mBARTと比較して平均1.8BLEUの改善ももたらしている。

関連論文リスト

• Improved Cross-Lingual Transfer Learning For Automatic Speech Translation [18.97234151624098]
  エンコーダ-デコーダシーケンス-シーケンス変換モデルのエンコーダをSAMU-XLS-Rで初期化することにより,言語間タスクの知識伝達を大幅に改善することを示す。 提案手法の有効性を,CoVoST-2とEuroparlという2つの一般的なデータセットに示す。
  論文  参考訳（メタデータ） (2023-06-01T15:19:06Z)
• Improving Neural Machine Translation by Denoising Training [95.96569884410137]
  本稿では,ニューラルネットワーク翻訳のためのトレーニングDoTの簡易かつ効果的な事前学習戦略を提案する。 モデルパラメータを、初期段階のソースおよびターゲットサイドのDenoisingタスクで更新し、正常にモデルをチューニングします。 実験によると、DoTは12のバイリンガルと16の多言語方向にわたるニューラルマシン翻訳性能を一貫して改善している。
  論文  参考訳（メタデータ） (2022-01-19T00:11:38Z)
• Consistency Regularization for Cross-Lingual Fine-Tuning [61.08704789561351]
  整合性正規化による言語間微調整の改善を提案する。 具体的には、例の整合性正規化を用いて、予測感度を4種類のデータ拡張にペナルティ化する。 XTREMEベンチマークの実験結果から,本手法は様々なタスクにおける言語間微調整を大幅に改善することが示された。
  論文  参考訳（メタデータ） (2021-06-15T15:35:44Z)
• Improving Cross-Lingual Reading Comprehension with Self-Training [62.73937175625953]
  現在の最新モデルは、いくつかのベンチマークで人間のパフォーマンスを上回っています。 前作では、ゼロショットのクロスリンガル読解のための事前訓練された多言語モデルの能力を明らかにしている。 本稿では,ラベルのないデータを利用して性能を向上する。
  論文  参考訳（メタデータ） (2021-05-08T08:04:30Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too [42.95481834479966]
  中間タスクトレーニングは、モノリンガル英語設定における言語理解タスクにおけるモデルパフォーマンスを大幅に改善する。 XTREMEベンチマークのゼロショットクロスランガル設定における中間タスク転送の評価を行った。 対象タスク毎に最適な中間タスクモデルを用いて,XLM-R Largeよりも5.4ポイント改善した。
  論文  参考訳（メタデータ） (2020-05-26T20:17:29Z)
• Exploring Fine-tuning Techniques for Pre-trained Cross-lingual Models via Continual Learning [74.25168207651376]
  訓練済みの言語モデルから下流の言語間タスクへの微調整は、有望な結果を示している。 ダウンストリームタスクに微調整する場合、継続学習を活用して、事前学習したモデルの言語間能力を維持する。 提案手法は、ゼロショット言語間タグ付けや名前付きエンティティ認識タスクにおいて、他の微調整ベースラインよりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2020-04-29T14:07:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。