論文の概要: On the Language Neutrality of Pre-trained Multilingual Representations
- arxiv url: http://arxiv.org/abs/2004.05160v4
- Date: Tue, 29 Sep 2020 18:48:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-15 02:54:22.622986
- Title: On the Language Neutrality of Pre-trained Multilingual Representations
- Title(参考訳): 事前学習した多言語表現の言語中立性について
- Authors: Jind\v{r}ich Libovick\'y, Rudolf Rosa, Alexander Fraser
- Abstract要約: 語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。
その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。
本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
- 参考スコア(独自算出の注目度): 70.93503607755055
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multilingual contextual embeddings, such as multilingual BERT and
XLM-RoBERTa, have proved useful for many multi-lingual tasks. Previous work
probed the cross-linguality of the representations indirectly using zero-shot
transfer learning on morphological and syntactic tasks. We instead investigate
the language-neutrality of multilingual contextual embeddings directly and with
respect to lexical semantics. Our results show that contextual embeddings are
more language-neutral and, in general, more informative than aligned static
word-type embeddings, which are explicitly trained for language neutrality.
Contextual embeddings are still only moderately language-neutral by default, so
we propose two simple methods for achieving stronger language neutrality:
first, by unsupervised centering of the representation for each language and
second, by fitting an explicit projection on small parallel data. Besides, we
show how to reach state-of-the-art accuracy on language identification and
match the performance of statistical methods for word alignment of parallel
sentences without using parallel data.
- Abstract(参考訳): マルチリンガルBERTやXLM-RoBERTaのような多言語コンテキスト埋め込みは、多くの多言語タスクに有用であることが証明されている。
前回の研究では、形態的および構文的タスクにおけるゼロショット転送学習を用いて間接的に表現の言語横断性を調査した。
代わりに,多言語文脈埋め込みの言語中立性を直接,語彙意味論に関して検討する。
この結果から,文脈的埋め込みは言語ニュートラルであり,言語中立性のために明示的に訓練された静的な単語型埋め込みよりも情報的であることが示唆された。
そこで本稿では,各言語に対する表現の教師なし中心化と,小さな並列データに明示的なプロジェクションを適用することで,より強力な言語中立性を実現するための2つの簡単な方法を提案する。
さらに,言語識別における最先端の精度に到達し,並列データを用いることなく,並列文の単語アライメントに関する統計的手法の性能を一致させる方法を示す。
関連論文リスト
- Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - Globetrotter: Unsupervised Multilingual Translation from Visual
Alignment [24.44204156935044]
視覚的モダリティを用いて複数の言語を整列させるフレームワークを提案する。
言語と画像のクロスモーダルアライメントを推定し,この推定値を用いて言語間表現の学習を指導する。
私たちの言語表現は、1つのステージを持つ1つのモデルで共同で訓練されます。
論文 参考訳(メタデータ) (2020-12-08T18:50:40Z) - Learning Contextualised Cross-lingual Word Embeddings and Alignments for
Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。
本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
論文 参考訳(メタデータ) (2020-10-27T22:24:01Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-30T08:56:53Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳(メタデータ) (2020-05-02T04:34:37Z) - Refinement of Unsupervised Cross-Lingual Word Embeddings [2.4366811507669124]
言語間の単語埋め込みは、高リソース言語と低リソース言語のギャップを埋めることを目的としています。
教師なしバイリンガル単語埋め込みのアライメントを改良する自己教師付き手法を提案する。
論文 参考訳(メタデータ) (2020-02-21T10:39:53Z) - A Common Semantic Space for Monolingual and Cross-Lingual
Meta-Embeddings [10.871587311621974]
本稿では,モノリンガルおよびクロスリンガルなメタ埋め込みを作成するための新しい手法を提案する。
既存のワードベクトルは線形変換と平均化を用いて共通の意味空間に投影される。
結果として得られる言語間メタ埋め込みは、優れた言語間移動学習能力を示す。
論文 参考訳(メタデータ) (2020-01-17T15:42:29Z) - Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。
提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。
また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文 参考訳(メタデータ) (2019-12-28T16:18:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。