論文の概要: mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs

• arxiv url: http://arxiv.org/abs/2104.08692v1
• Date: Sun, 18 Apr 2021 03:24:07 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:10:33.266346
• Title: mT6: Multilingual Pretrained Text-to-Text Transformer with Translation Pairs
• Title（参考訳）: mT6: 翻訳ペア付き多言語事前学習テキスト変換器
• Authors: Zewen Chi, Li Dong, Shuming Ma, Shaohan Huang Xian-Ling Mao, Heyan Huang, Furu Wei
• Abstract要約: 翻訳ペア(mt6)を用いた多言語テキスト間トランスフォーマーの改良 本研究では,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。
• 参考スコア（独自算出の注目度）: 51.67970832510462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multilingual T5 (mT5) pretrains a sequence-to-sequence model on massive monolingual texts, which has shown promising results on many cross-lingual tasks. In this paper, we improve multilingual text-to-text transfer Transformer with translation pairs (mT6). Specifically, we explore three cross-lingual text-to-text pre-training tasks, namely, machine translation, translation pair span corruption, and translation span corruption. In addition, we propose a partially non-autoregressive objective for text-to-text pre-training. We evaluate the methods on seven multilingual benchmark datasets, including sentence classification, named entity recognition, question answering, and abstractive summarization. Experimental results show that the proposed mT6 improves cross-lingual transferability over mT5.
• Abstract（参考訳）: 多言語t5(mt5)は、大量の単言語テキストのシーケンスからシーケンスまでのモデルを事前学習し、多くの言語横断タスクで有望な結果を示している。 本稿では,翻訳ペアを用いた多言語テキスト間変換器(mT6)を改良する。 具体的には,機械翻訳,翻訳ペアスパン破壊,翻訳スパン破壊という3つの言語間事前学習タスクについて検討した。 さらに,テキストからテキストへの事前学習のための部分的非自己回帰的目標を提案する。 文分類、名前付きエンティティ認識、質問応答、抽象的な要約を含む7つの多言語ベンチマークデータセットの手法を評価する。 実験の結果,mT6はmT5よりも舌間移動性が向上することがわかった。

関連論文リスト

• Translation-Enhanced Multilingual Text-to-Image Generation [61.41730893884428]
  テキスト・ツー・イメージ・ジェネレーション(TTI)の研究は、現在でも主に英語に焦点を当てている。 そこで本研究では,多言語TTIとニューラルマシン翻訳(NMT)のブートストラップmTTIシステムへの応用について検討する。 我々は,mTTIフレームワーク内で多言語テキスト知識を重み付け,統合する新しいパラメータ効率アプローチであるEnsemble Adapter (EnsAd)を提案する。
  論文  参考訳（メタデータ） (2023-05-30T17:03:52Z)
• Revisiting Machine Translation for Cross-lingual Classification [91.43729067874503]
  この分野のほとんどの研究は、機械翻訳コンポーネントではなく多言語モデルに焦点を当てている。 より強力なMTシステムを用いて、原文のトレーニングと機械翻訳テキストの推論のミスマッチを緩和することにより、翻訳テストは以前想定していたよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-23T16:56:10Z)
• mmT5: Modular Multilingual Pre-Training Solves Source Language Hallucinations [54.42422445568523]
  mmT5はモジュール型多言語シーケンス・ツー・シーケンスモデルである。 言語固有の情報を言語に依存しない情報から切り離す。 mT5と比較して、mT5はゼロショット設定で正しい言語でテキストを生成する率を7%から99%に向上させる。
  論文  参考訳（メタデータ） (2023-05-23T16:38:01Z)
• mLongT5: A Multilingual and Efficient Text-To-Text Transformer for Longer Sequences [17.461172187276734]
  このモデルはLongT5のアーキテクチャに基づいており、mT5の事前トレーニングに使用される多言語データセットとUL2の事前トレーニングタスクを活用している。 このモデルを多言語要約および質問応答タスクで評価し,mBARTやM-BERTのような既存の多言語モデルと比較して,mLongT5の性能が向上したことを示す。
  論文  参考訳（メタデータ） (2023-05-18T17:22:53Z)
• Evaluating Byte and Wordpiece Level Models for Massively Multilingual Semantic Parsing [3.431659287330068]
  バイトレベル(ByT5)とワードピースベース(mT5)をMASSIVE多言語意味解析データセットの51言語におけるシーケンスモデルと比較する。 すべての言語からのゴールドデータに基づいてトレーニングされたモデルに対して、正確なマッチング精度のギャップを5ポイントに縮めることができます。
  論文  参考訳（メタデータ） (2022-12-14T13:48:32Z)
• nmT5 -- Is parallel data still relevant for pre-training massively multilingual language models? [9.560948239388662]
  本研究は,mT5事前学習における並列データの導入が及ぼす影響について考察する。 機械翻訳などの目的を持つマルチタスク言語モデリングは,性能向上のための簡単な方法であることがわかった。
  論文  参考訳（メタデータ） (2021-06-03T23:12:27Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• mT5: A massively multilingual pre-trained text-to-text transformer [60.0210636815514]
  The Text-to-Text Transfer Transformer (T5) は、統一されたテキスト・トゥ・テキストフォーマットとスケールを利用して、英語のNLPタスクで最先端の結果を得る。 101言語をカバーする新しいCommon Crawlベースのデータセットで事前トレーニングを行ったマルチ言語版T5であるmT5を紹介する。
  論文  参考訳（メタデータ） (2020-10-22T17:58:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。