論文の概要: How Do Multilingual Encoders Learn Cross-lingual Representation?

• arxiv url: http://arxiv.org/abs/2207.05737v1
• Date: Tue, 12 Jul 2022 17:57:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-13 14:04:34.321936
• Title: How Do Multilingual Encoders Learn Cross-lingual Representation?
• Title（参考訳）: 多言語エンコーダはどのように言語間表現を学ぶか?
• Authors: Shijie Wu
• Abstract要約: 言語間転送は、他言語からの転送によって、トレーニングデータをほとんど、あるいは全く持たない言語に恩恵を与える。 この論文はまず、様々なタスクにおける先行技術と比較して、驚くべき言語間効果を示す。 また、多言語エンコーダに異なる言語間信号を注入する方法や、これらのモデルを用いた言語間転送の最適化挙動についても検討する。
• 参考スコア（独自算出の注目度）: 8.409283426564977
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: NLP systems typically require support for more than one language. As different languages have different amounts of supervision, cross-lingual transfer benefits languages with little to no training data by transferring from other languages. From an engineering perspective, multilingual NLP benefits development and maintenance by serving multiple languages with a single system. Both cross-lingual transfer and multilingual NLP rely on cross-lingual representations serving as the foundation. As BERT revolutionized representation learning and NLP, it also revolutionized cross-lingual representations and cross-lingual transfer. Multilingual BERT was released as a replacement for single-language BERT, trained with Wikipedia data in 104 languages. Surprisingly, without any explicit cross-lingual signal, multilingual BERT learns cross-lingual representations in addition to representations for individual languages. This thesis first shows such surprising cross-lingual effectiveness compared against prior art on various tasks. Naturally, it raises a set of questions, most notably how do these multilingual encoders learn cross-lingual representations. In exploring these questions, this thesis will analyze the behavior of multilingual models in a variety of settings on high and low resource languages. We also look at how to inject different cross-lingual signals into multilingual encoders, and the optimization behavior of cross-lingual transfer with these models. Together, they provide a better understanding of multilingual encoders on cross-lingual transfer. Our findings will lead us to suggested improvements to multilingual encoders and cross-lingual transfer.
• Abstract（参考訳）: NLPシステムは通常、複数の言語をサポートする必要がある。 異なる言語に異なる量の監督があるため、言語間転送は、他言語からの転送によるトレーニングデータをほとんど、あるいは全く持たない言語に恩恵を与える。 エンジニアリングの観点からは、多言語NLPは、単一のシステムで複数の言語を提供することにより、開発とメンテナンスの恩恵を受ける。 クロスリンガルトランスファーと多言語nlpの両方が基礎となるクロスリンガル表現に依存している。 BERTは表現学習とNLPに革命をもたらしたため、言語間表現と言語間移動にも革命をもたらした。 Multilingual BERTは、104言語でウィキペディアのデータで訓練された単一言語BERTの代替としてリリースされた。 驚いたことに、明示的な言語間信号なしで、多言語BERTは個々の言語の表現に加えて、言語間表現を学ぶ。 この論文はまず、様々なタスクにおける先行技術と比較して、驚くべき言語間効果を示す。 特に、これらの多言語エンコーダは、どのように言語間表現を学ぶのか。 この論文は,高・低資源言語における多言語モデルの振る舞いを多言語モデルを用いて分析するものである。 また,多言語エンコーダに異なる言語間信号を注入する方法と,それらのモデルを用いた言語間伝達の最適化挙動について検討する。 同時に、多言語間移動における多言語エンコーダの理解を深める。 この結果から,多言語エンコーダの改良と言語間移動が提案される。

関連論文リスト

• mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models? [15.90185747024602]
  本稿では,2つの質問を探索するテストベッドとして,合成タスクであるMultilingual Othello(mOthello)を提案する。 多言語事前学習で訓練されたモデルは、全ての入力言語にまたがる言語ニュートラル表現を学習できないことがわかった。 本稿では,言語ニュートラル表現の学習を誘導し,言語間移動を促進する多言語事前学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-18T18:03:08Z)
• Bitext Mining Using Distilled Sentence Representations for Low-Resource Languages [12.00637655338665]
  私たちは、非常に低リソースの言語を研究し、50のアフリカ言語を扱っています。 我々は文エンコーダ、マイニングビットクストを訓練し、NMTシステムのトレーニングによりビットクストを検証する。 これらの言語では、文エンコーダ、ビットクストをマイニングし、NMTシステムのトレーニングによってビットクストを検証する。
  論文  参考訳（メタデータ） (2022-05-25T10:53:24Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Syntax-augmented Multilingual BERT for Cross-lingual Transfer [37.99210035238424]
  この研究は、言語構文とトレーニングmBERTを明示的に提供することが、言語間転送に役立つことを示している。 実験の結果,mBERTの構文拡張は,一般的なベンチマーク上での言語間移動を改善することがわかった。
  論文  参考訳（メタデータ） (2021-06-03T21:12:50Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)
• What makes multilingual BERT multilingual? [60.9051207862378]
  本研究は,既存の言語間能力の文献を補うための詳細な実験研究である。 我々は,非コンテクスト化および文脈化表現モデルの言語間能力と同一データとの比較を行った。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素であることがわかった。
  論文  参考訳（メタデータ） (2020-10-20T05:41:56Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• A Study of Cross-Lingual Ability and Language-specific Information in Multilingual BERT [60.9051207862378]
  Multilingual BERTは、言語間転送タスクで驚くほどうまく機能します。 データサイズとコンテキストウィンドウサイズは、転送可能性にとって重要な要素です。 多言語BERTの言語間能力を改善するために、計算的に安価だが効果的なアプローチがある。
  論文  参考訳（メタデータ） (2020-04-20T11:13:16Z)
• Learning to Scale Multilingual Representations for Vision-Language Tasks [51.27839182889422]
  SMALRの有効性は、これまでビジョン言語タスクでサポートされた2倍以上の10の多言語で実証されている。 単語の埋め込み手法と比較して,訓練パラメータの1/5以下で,複数言語による画像文検索と先行作業の3～4%の性能評価を行った。
  論文  参考訳（メタデータ） (2020-04-09T01:03:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。