論文の概要: English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too

• arxiv url: http://arxiv.org/abs/2005.13013v2
• Date: Wed, 30 Sep 2020 18:01:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-29 00:05:20.072455
• Title: English Intermediate-Task Training Improves Zero-Shot Cross-Lingual Transfer Too
• Title（参考訳）: 英語の中間タスクトレーニングはゼロショット言語間転送も改善
• Authors: Jason Phang, Iacer Calixto, Phu Mon Htut, Yada Pruksachatkun, Haokun Liu, Clara Vania, Katharina Kann, Samuel R. Bowman
• Abstract要約: 中間タスクトレーニングは、モノリンガル英語設定における言語理解タスクにおけるモデルパフォーマンスを大幅に改善する。 XTREMEベンチマークのゼロショットクロスランガル設定における中間タスク転送の評価を行った。 対象タスク毎に最適な中間タスクモデルを用いて,XLM-R Largeよりも5.4ポイント改善した。
• 参考スコア（独自算出の注目度）: 42.95481834479966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Intermediate-task training---fine-tuning a pretrained model on an intermediate task before fine-tuning again on the target task---often improves model performance substantially on language understanding tasks in monolingual English settings. We investigate whether English intermediate-task training is still helpful on non-English target tasks. Using nine intermediate language-understanding tasks, we evaluate intermediate-task transfer in a zero-shot cross-lingual setting on the XTREME benchmark. We see large improvements from intermediate training on the BUCC and Tatoeba sentence retrieval tasks and moderate improvements on question-answering target tasks. MNLI, SQuAD and HellaSwag achieve the best overall results as intermediate tasks, while multi-task intermediate offers small additional improvements. Using our best intermediate-task models for each target task, we obtain a 5.4 point improvement over XLM-R Large on the XTREME benchmark, setting the state of the art as of June 2020. We also investigate continuing multilingual MLM during intermediate-task training and using machine-translated intermediate-task data, but neither consistently outperforms simply performing English intermediate-task training.
• Abstract（参考訳）: 中間タスクトレーニング(intermediate-task training) - 事前学習されたモデルを中間タスクに微調整し、ターゲットタスクで再度微調整する - は、多くの場合、単言語英語設定の言語理解タスクにおいて、モデルパフォーマンスを実質的に向上させる。 英語の中間タスクトレーニングが英語以外の目標タスクにまだ有効かどうかを検討する。 9つの中間言語に基づくタスクを用いて、XTREMEベンチマークでゼロショットのクロスランガル設定で中間タスク転送を評価する。 BUCC と Tatoeba の文検索タスクの中間訓練と質問応答対象タスクの適度な改善から大きな改善が期待できる。 MNLI、SQuAD、HellaSwagは中間タスクとして最高の結果を得る一方、マルチタスク中間は小さな改善を提供する。 対象タスク毎に最適な中間タスクモデルを用いて、XTREMEベンチマークでXLM-R Largeよりも5.4ポイント向上し、2020年6月現在、最先端技術が設定されている。 また、中間タスクトレーニングや機械翻訳中間タスクデータを用いた多言語MLMの継続についても検討するが、英語の中間タスクトレーニングよりも一貫して優れていない。

関連論文リスト

• AAdaM at SemEval-2024 Task 1: Augmentation and Adaptation for Multilingual Semantic Textual Relatedness [16.896143197472114]
  本稿では,アフリカとアジアの言語に対するセマンティックテキスト関連性(SemEval-2024 Task 1: Semantic Textual Relatedness)について述べる。 本稿では,限られたトレーニングデータの低リソース化問題に対処するために,機械翻訳によるデータ拡張を提案する。 我々のシステムは、サブタスクA(教師付き学習)とサブタスクC(言語間の移動)の両方において、すべてのチームの中で最善を尽くします。
  論文  参考訳（メタデータ） (2024-04-01T21:21:15Z)
• Rethinking and Improving Multi-task Learning for End-to-end Speech Translation [51.713683037303035]
  異なる時間とモジュールを考慮したタスク間の整合性について検討する。 テキストエンコーダは、主にクロスモーダル変換を容易にするが、音声におけるノイズの存在は、テキストと音声表現の一貫性を妨げる。 長さと表現の差を軽減し,モーダルギャップを橋渡しする,STタスクのための改良型マルチタスク学習(IMTL)手法を提案する。
  論文  参考訳（メタデータ） (2023-11-07T08:48:46Z)
• Bridging Cross-Lingual Gaps During Leveraging the Multilingual Sequence-to-Sequence Pretraining for Text Generation [80.16548523140025]
  プレトレインとファインチューンの間のギャップを埋めるために、コードスイッチングの復元タスクを追加して、バニラプレトレイン-ファインチューンパイプラインを拡張します。 提案手法は,言語間文表現距離を狭くし,簡単な計算コストで低周波語翻訳を改善する。
  論文  参考訳（メタデータ） (2022-04-16T16:08:38Z)
• Bridging the Gap between Language Models and Cross-Lingual Sequence Labeling [101.74165219364264]
  大規模言語間事前学習言語モデル (xPLM) は、言語間シーケンスラベリングタスクにおいて有効であることを示す。 大きな成功にもかかわらず、事前学習と微調整の段階の間には訓練対象のギャップがあるという経験的観察を描いている。 本稿では,まず,言語間インフォーマティブ・スパン・マスキング(CLISM)と呼ばれるxSLのための事前学習タスクを設計し,目的のギャップを解消する。 第2に、コントラスト学習を利用して入力並列表現間の一貫性を促進するContrAstive-Consistency Regularization (CACR)を提案する。
  論文  参考訳（メタデータ） (2022-04-11T15:55:20Z)
• Does QA-based intermediate training help fine-tuning language models for text classification? [12.023861154677203]
  質問応答 (QA) のような高レベルな推論タスクに基づく中間訓練は, 対象タスクに対する言語モデルの性能を向上させることができる。 本稿では,2つの基本言語モデルと2つのコンパクト言語モデルを用いて,単一シーケンス分類のための8つのタスクとシーケンスペア分類のための8つのタスクについて実験を行った。 実験により、QAに基づく中間訓練は、類似のQAタスクを除いて、異なる言語モデル間で異なる転送性能を生成することが示された。
  論文  参考訳（メタデータ） (2021-12-30T13:30:25Z)
• Zero-shot Cross-lingual Transfer of Neural Machine Translation with Multilingual Pretrained Encoders [74.89326277221072]
  多言語プリトレーニング済みエンコーダによるNMTモデルのクロスリンガル転送を改善する方法は、未検討です。 このタスクのシンプルで効果的なモデルであるSixTを提案します。 私達のモデルはCRISSおよびm2m-100より多くの英語テストセットでよりよい性能を達成します。
  論文  参考訳（メタデータ） (2021-04-18T07:42:45Z)
• MCL@IITK at SemEval-2021 Task 2: Multilingual and Cross-lingual Word-in-Context Disambiguation using Augmented Data, Signals, and Transformers [1.869621561196521]
  我々はSemEval 2021 Task 2: Multilingual and cross-lingual Word-in-Context Disambiguation (MCL-WiC) の解法を提案する。 目的は、両方の文に共通する単語が同じ意味を引き起こすかどうかを検出することである。 多言語とクロスリンガルの両方の設定のためのシステムを提出します。
  論文  参考訳（メタデータ） (2021-04-04T08:49:28Z)
• Cross-lingual Retrieval for Iterative Self-Supervised Training [66.3329263451598]
  言語間のアライメントは、Seq2seqモデルを、自身のエンコーダ出力を用いてマイニングされた文対上で訓練することでさらに改善することができる。 我々は,反復型自己教師型訓練のための言語間検索という新しい手法を開発した。
  論文  参考訳（メタデータ） (2020-06-16T21:30:51Z)
• Intermediate-Task Transfer Learning with Pretrained Models for Natural Language Understanding: When and Why Does It Work? [44.88358841370665]
  特定の目標タスクに対して、中間タスクトレーニングが有益である時期と理由についてはあまり理解されていない。 110の中間目標タスクの組み合わせで事前学習したRoBERTaモデルを大規模に検討する。 高いレベルの推論と推論能力を必要とする中間タスクが最善である傾向が観察された。
  論文  参考訳（メタデータ） (2020-05-01T21:49:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。