論文の概要: It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT

• arxiv url: http://arxiv.org/abs/2010.08275v1
• Date: Fri, 16 Oct 2020 09:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-06 21:06:57.818645
• Title: It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT
• Title（参考訳）: ギリシャ語からmBERT:多言語BERTからの単語レベル翻訳の導入
• Authors: Hila Gonen, Shauli Ravfogel, Yanai Elazar, Yoav Goldberg
• Abstract要約: mBERT (multilingual BERT) は、言語間での移動を可能にするリッチな言語間表現を学習する。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。
• 参考スコア（独自算出の注目度）: 54.84185432755821
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent works have demonstrated that multilingual BERT (mBERT) learns rich cross-lingual representations, that allow for transfer across languages. We study the word-level translation information embedded in mBERT and present two simple methods that expose remarkable translation capabilities with no fine-tuning. The results suggest that most of this information is encoded in a non-linear way, while some of it can also be recovered with purely linear tools. As part of our analysis, we test the hypothesis that mBERT learns representations which contain both a language-encoding component and an abstract, cross-lingual component, and explicitly identify an empirical language-identity subspace within mBERT representations.
• Abstract（参考訳）: 近年の研究では、多言語BERT (mBERT) が言語間の移動を可能にするリッチな言語間表現を学習していることが示されている。 我々はmBERTに埋め込まれた単語レベルの翻訳情報について検討し、微調整なしで優れた翻訳能力を示す2つの簡単な方法を提案する。 その結果、これらの情報のほとんどは非線形にエンコードされ、一部の情報は純粋に線形なツールで復元できることが示唆された。 分析の一環として、mBERTは言語符号化コンポーネントと抽象言語間コンポーネントの両方を含む表現を学習し、mBERT表現内の経験的言語同一性部分空間を明示的に識別する仮説を検証した。

関連論文リスト

• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Looking for Clues of Language in Multilingual BERT to Improve Cross-lingual Generalization [56.87201892585477]
  多言語BERT (m-BERT) には、言語情報と意味情報の両方が含まれている。 トークン埋め込みを操作することで多言語BERTの出力言語を制御する。
  論文  参考訳（メタデータ） (2020-10-20T05:41:35Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• Finding Universal Grammatical Relations in Multilingual BERT [47.74015366712623]
  mBERT表現のサブスペースは、英語以外の言語で構文木の距離を回復することを示す。 我々は,mBERTが構文依存ラベルの表現を学習する証拠を提供する教師なし解析手法を提案する。
  論文  参考訳（メタデータ） (2020-05-09T20:46:02Z)
• Identifying Necessary Elements for BERT's Multilinguality [4.822598110892846]
  マルチリンガルBERT (mBERT) は高品質なマルチリンガル表現を出力し、効率的なゼロショット転送を可能にする。 本研究の目的は,BERTのアーキテクチャ特性と多言語化に必要な言語の言語特性を同定することである。
  論文  参考訳（メタデータ） (2020-05-01T14:27:14Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。