論文の概要: When is BERT Multilingual? Isolating Crucial Ingredients for
Cross-lingual Transfer
- arxiv url: http://arxiv.org/abs/2110.14782v1
- Date: Wed, 27 Oct 2021 21:25:39 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-30 09:47:55.176811
- Title: When is BERT Multilingual? Isolating Crucial Ingredients for
Cross-lingual Transfer
- Title（参考訳）: BERTマルチ言語はいつ?
言語間伝達における重要な成分の単離
- Authors: Ameet Deshpande, Partha Talukdar, Karthik Narasimhan
- Abstract要約: サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。
言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。
その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
- 参考スコア（独自算出の注目度）: 15.578267998149743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While recent work on multilingual language models has demonstrated their
capacity for cross-lingual zero-shot transfer on downstream tasks, there is a
lack of consensus in the community as to what shared properties between
languages enable such transfer. Analyses involving pairs of natural languages
are often inconclusive and contradictory since languages simultaneously differ
in many linguistic aspects. In this paper, we perform a large-scale empirical
study to isolate the effects of various linguistic properties by measuring
zero-shot transfer between four diverse natural languages and their
counterparts constructed by modifying aspects such as the script, word order,
and syntax. Among other things, our experiments show that the absence of
sub-word overlap significantly affects zero-shot transfer when languages differ
in their word order, and there is a strong correlation between transfer
performance and word embedding alignment between languages (e.g., R=0.94 on the
task of NLI). Our results call for focus in multilingual models on explicitly
improving word embedding alignment between languages rather than relying on its
implicit emergence.
- Abstract（参考訳）: 多言語言語モデルに関する最近の研究では、下流タスクでのクロスリンガルゼロショット転送能力が実証されているが、言語間のプロパティの共有がどのような転送を可能にするかについて、コミュニティのコンセンサスが欠如している。
自然言語のペアを含む分析は、多くの言語面において言語が同時に異なるため、しばしば決定的で矛盾する。
本稿では,4つの多様な自然言語とその対応言語間のゼロショット移動をスクリプト,単語順,構文などの側面を修飾して測定することにより,様々な言語特性の影響を分離する大規模実証研究を行う。
実験の結果,単語順が異なる場合,サブワード重複の欠如はゼロショット転送に大きく影響し,言語間の単語埋め込みアライメント(例えば,NLIのタスクにおけるR=0.94)と転送性能との間には強い相関関係があることが判明した。
本研究は,暗黙の出現に頼らず,言語間の単語埋め込みアライメントを明示的に改善することに着目し,多言語モデルに焦点をあてる。
関連論文リスト
- Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is
It and How Does It Affect Transfer? [50.48082721476612]
マルチリンガルBERT (mBERT) は, 言語間シンタクティックな機能を示した。
我々は,mBERTから引き起こされる文法的関係の分布を,24言語に類型的に異なる文脈で検討した。
論文 参考訳（メタデータ） (2022-12-21T09:44:08Z) - Cross-Lingual Ability of Multilingual Masked Language Models: A Study of
Language Structure [54.01613740115601]
本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。
我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
論文 参考訳（メタデータ） (2022-03-16T07:09:35Z) - Analyzing the Effects of Reasoning Types on Cross-Lingual Transfer
Performance [10.33152983955968]
自然言語推論(NLI)の例は、しばしば様々な種類のサブタスクに関係し、異なる種類の推論を必要とする。
ある種の推論は、モノリンガルな文脈で学ぶことがより困難であることが証明されている。
推論型と言語類似性の一致が伝達性能に与える影響を統計的に観察する。
論文 参考訳（メタデータ） (2021-10-05T22:36:46Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - First Align, then Predict: Understanding the Cross-Lingual Ability of
Multilingual BERT [2.2931318723689276]
言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。
多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。
エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
論文 参考訳（メタデータ） (2021-01-26T22:12:38Z) - VECO: Variable and Flexible Cross-lingual Pre-training for Language
Understanding and Generation [77.82373082024934]
我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。
独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。
提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
論文 参考訳（メタデータ） (2020-10-30T03:41:38Z) - Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。
我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
論文 参考訳（メタデータ） (2020-05-02T04:34:37Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。