論文の概要: Identifying Necessary Elements for BERT's Multilinguality

• arxiv url: http://arxiv.org/abs/2005.00396v3
• Date: Mon, 8 Feb 2021 14:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-07 23:45:52.998849
• Title: Identifying Necessary Elements for BERT's Multilinguality
• Title（参考訳）: BERTの多言語性に必要な要素の同定
• Authors: Philipp Dufter, Hinrich Sch\"utze
• Abstract要約: マルチリンガルBERT (mBERT) は高品質なマルチリンガル表現を出力し、効率的なゼロショット転送を可能にする。 本研究の目的は,BERTのアーキテクチャ特性と多言語化に必要な言語の言語特性を同定することである。
• 参考スコア（独自算出の注目度）: 4.822598110892846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: It has been shown that multilingual BERT (mBERT) yields high quality multilingual representations and enables effective zero-shot transfer. This is surprising given that mBERT does not use any crosslingual signal during training. While recent literature has studied this phenomenon, the reasons for the multilinguality are still somewhat obscure. We aim to identify architectural properties of BERT and linguistic properties of languages that are necessary for BERT to become multilingual. To allow for fast experimentation we propose an efficient setup with small BERT models trained on a mix of synthetic and natural data. Overall, we identify four architectural and two linguistic elements that influence multilinguality. Based on our insights, we experiment with a multilingual pretraining setup that modifies the masking strategy using VecMap, i.e., unsupervised embedding alignment. Experiments on XNLI with three languages indicate that our findings transfer from our small setup to larger scale settings.
• Abstract（参考訳）: 多言語bert(mbert)は高品質な多言語表現をもたらし、効果的なゼロショット転送を可能にする。 mBERTはトレーニング中にクロスリンガル信号を使用しないため、これは驚くべきことである。 最近の文献ではこの現象が研究されているが、多言語性の原因はいまだにはっきりしていない。 本稿では,BERTのアーキテクチャ特性と多言語化に必要な言語の言語特性を明らかにすることを目的とする。 高速な実験を可能にするために,合成データと自然データを組み合わせて訓練した小型BERTモデルを用いた効率的なセットアップを提案する。 全体として、多言語性に影響を与える4つのアーキテクチャ要素と2つの言語要素を識別する。 この知見に基づき,vecmap,すなわち教師なし埋め込みアライメントを用いてマスキング戦略を修飾する多言語事前学習設定を実験した。 xnliを3つの言語で実験した結果,小型設定から大規模設定への移行が認められた。

関連論文リスト

• L3Cube-IndicSBERT: A simple approach for learning cross-lingual sentence representations using multilingual BERT [0.7874708385247353]
  SBERT (Multilingual Sentence-BERT) モデルは、異なる言語を共通表現空間にマッピングする。 合成コーパスを用いたバニラ多言語BERTモデルから多言語文BERTモデルへ変換する手法を提案する。 多言語BERTモデルは本質的に言語間学習者であり、この単純なベースライン微調整アプローチは、例外的な言語間特性をもたらす。
  論文  参考訳（メタデータ） (2023-04-22T15:45:40Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• To What Degree Can Language Borders Be Blurred In BERT-based Multilingual Spoken Language Understanding? [7.245261469258502]
  BERTをベースとした多言語言語理解(SLU)モデルは, 遠隔言語群でもかなりうまく機能するが, 理想的な多言語言語性能にはまだギャップがあることを示す。 本稿では,多言語SLUのための言語共有および言語固有表現を学習するための,BERTに基づく新しい逆モデルアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-11-10T09:59:24Z)
• What makes multilingual BERT multilingual? [60.9051207862378]
  本研究は,既存の言語間能力の文献を補うための詳細な実験研究である。 我々は,非コンテクスト化および文脈化表現モデルの言語間能力と同一データとの比較を行った。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T05:41:56Z)
• Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
  多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。 トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
  論文  参考訳（メタデータ） (2020-10-20T05:41:35Z)
• It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT [54.84185432755821]
  mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
  論文  参考訳（メタデータ） (2020-10-16T09:49:32Z)
• Finding Universal Grammatical Relations in Multilingual BERT [47.74015366712623]
  mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。 我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T20:46:02Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。