論文の概要: EMS: Efficient and Effective Massively Multilingual Sentence
Representation Learning
- arxiv url: http://arxiv.org/abs/2205.15744v1
- Date: Tue, 31 May 2022 12:29:25 GMT
- ステータス: 処理完了
- システム内更新日: 2022-06-01 13:52:08.800358
- Title: EMS: Efficient and Effective Massively Multilingual Sentence
Representation Learning
- Title(参考訳): EMS: 効率的かつ効果的な多言語文表現学習
- Authors: Zhuoyuan Mao, Chenhui Chu, Sadao Kurohashi
- Abstract要約: 本稿では,言語横断文再構成(XTR)と文レベルのコントラスト学習を訓練目的として,効率的かつ効果的な多言語文表現学習(EMS)を導入する。
関連する研究と比較すると,提案したモデルは,非常に少ない並列文とGPU計算資源を用いて効率的に訓練することができる。
62言語をサポートするモデルトレーニング用コードとEMS事前訓練モデルをリリースする。
- 参考スコア(独自算出の注目度): 31.225252462128626
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Massively multilingual sentence representation models, e.g., LASER,
SBERT-distill, and LaBSE, help significantly improve cross-lingual downstream
tasks. However, multiple training procedures, the use of a large amount of
data, or inefficient model architectures result in heavy computation to train a
new model according to our preferred languages and domains. To resolve this
issue, we introduce efficient and effective massively multilingual sentence
representation learning (EMS), using cross-lingual sentence reconstruction
(XTR) and sentence-level contrastive learning as training objectives. Compared
with related studies, the proposed model can be efficiently trained using
significantly fewer parallel sentences and GPU computation resources without
depending on large-scale pre-trained models. Empirical results show that the
proposed model significantly yields better or comparable results with regard to
bi-text mining, zero-shot cross-lingual genre classification, and sentiment
classification. Ablative analyses demonstrate the effectiveness of each
component of the proposed model. We release the codes for model training and
the EMS pre-trained model, which supports 62 languages
(https://github.com/Mao-KU/EMS).
- Abstract(参考訳): 大規模多言語文表現モデル(LASER、SBERT-distill、LaBSE)は、言語間下流タスクを大幅に改善する。
しかし、複数のトレーニング手順、大量のデータの使用、あるいは非効率的なモデルアーキテクチャは、我々の好む言語やドメインに従って新しいモデルをトレーニングするために重い計算結果をもたらす。
この問題を解決するために,クロスリンガル文再構成(XTR)と文レベルのコントラスト学習を訓練目的として用いた,効率的かつ効果的な多言語文表現学習(EMS)を導入する。
関連する研究と比較して,提案モデルは大規模事前学習モデルに依存することなく,極めて少ない並列文とGPU計算資源を用いて効率的に訓練することができる。
実験の結果,両文マイニング,ゼロショットクロスリンガル分類,感情分類において,提案モデルが有意な効果を示した。
Ablative Analysisは、提案モデルの各コンポーネントの有効性を示す。
我々は、モデルトレーニング用のコードと62言語(https://github.com/mao-ku/ems)をサポートするemsプリトレーニングモデルをリリースします。
関連論文リスト
- Exploiting Multilingualism in Low-resource Neural Machine Translation
via Adversarial Learning [3.2258463207097017]
Generative Adversarial Networks (GAN) はニューラルマシン翻訳(NMT)に有望なアプローチを提供する
GANでは、バイリンガルモデルと同様に、マルチリンガルNTTはモデルトレーニング中に各文の参照翻訳を1つだけ考慮している。
本稿では,DAASI(Denoising Adversarial Auto-Encoder-based Sentence Interpolation)アプローチによる文計算を提案する。
論文 参考訳(メタデータ) (2023-03-31T12:34:14Z) - Improving Massively Multilingual ASR With Auxiliary CTC Objectives [40.10307386370194]
FLEURSは102言語によるオープンASRベンチマークである。
我々は,最近のコネクショニスト時間分類(CTC)研究から着想を得た手法を考察し,モデルが多数の言語を扱えるようにした。
コンバータアーキテクチャを用いた自己教師型モデルを用いた最先端システムでは,相対28.4%CERによるFLEURSの先行研究よりも改善されている。
論文 参考訳(メタデータ) (2023-02-24T18:59:51Z) - PaLM: Scaling Language Modeling with Pathways [180.69584031908113]
我々は,パスウェイズ言語モデル PaLM と呼ばれるトランスフォーマー言語モデルを用いて,540ビリオンのパラメータを訓練した。
我々はPathwaysという新しいMLシステムを用いて,6144 TPU v4チップ上でPaLMをトレーニングした。
数百の言語理解および生成ベンチマーク上で、最先端の数発の学習結果を達成し、スケーリングの継続的なメリットを実証する。
論文 参考訳(メタデータ) (2022-04-05T16:11:45Z) - From Good to Best: Two-Stage Training for Cross-lingual Machine Reading
Comprehension [51.953428342923885]
モデル性能を向上させるための2段階のアプローチを開発する。
我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。
第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
論文 参考訳(メタデータ) (2021-12-09T07:31:15Z) - Scalable and Efficient MoE Training for Multitask Multilingual Models [55.987536562357086]
我々は,MoEモデルを数兆のパラメータに効率的にスケールできるシステムを開発した。
また,MoEサンプルの効率を向上させるための新たなトレーニング手法を提案し,時間効率を向上させるために専門家の刈り取り戦略を活用する。
50言語で100億のパラメータで訓練されたモデルは、機械翻訳(MT)および多言語自然言語生成タスクにおける最先端のパフォーマンスを達成することができる。
論文 参考訳(メタデータ) (2021-09-22T00:57:46Z) - Distributionally Robust Multilingual Machine Translation [94.51866646879337]
本稿では,分散的ロバストな最適化に基づくMNMT(Multilingual Neural Machine Translation)の新しい学習目標を提案する。
この目的を,反復的最適応答方式を用いて,大規模翻訳コーパスに対して実用的に最適化する方法を示す。
本手法は,多対一の翻訳設定と多対多の翻訳設定の両方において,平均と言語毎のパフォーマンスにおいて,強いベースライン法より一貫して優れる。
論文 参考訳(メタデータ) (2021-09-09T03:48:35Z) - Lightweight Cross-Lingual Sentence Representation Learning [57.9365829513914]
メモリ効率のよい言語間文表現を生成するために,2層のみの軽量なデュアルトランスフォーマーアーキテクチャを導入する。
本稿では,既存のシングルワードマスキング言語モデルと,新たに提案されたクロスランガルトークンレベルの再構築タスクを組み合わせた,新しい言語間言語モデルを提案する。
論文 参考訳(メタデータ) (2021-05-28T14:10:48Z) - ERNIE-M: Enhanced Multilingual Representation by Aligning Cross-lingual
Semantics with Monolingual Corpora [21.78571365050787]
ERNIE-Mは、複数の言語の表現をモノリンガルコーパスと整合させる新しいトレーニング手法である。
単言語コーパス上で擬似並列文ペアを生成し、異なる言語間のセマンティックアライメントの学習を可能にする。
実験結果から,ERNIE-Mは既存の言語間モデルよりも優れており,様々な言語間下流タスクに対して新たな最先端結果を提供することがわかった。
論文 参考訳(メタデータ) (2020-12-31T15:52:27Z) - Mixed-Lingual Pre-training for Cross-lingual Summarization [54.4823498438831]
言語間の要約は、ソース言語の記事に対する対象言語の要約を作成することを目的としている。
本稿では,翻訳のような言語間タスクと,マスク付き言語モデルのようなモノリンガルタスクの両方を活用する混合言語事前学習に基づくソリューションを提案する。
本モデルでは,2.82(中国語)と1.15(中国語,英語)のROUGE-1スコアを最先端の結果に対して改善する。
論文 参考訳(メタデータ) (2020-10-18T00:21:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。