論文の概要: mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?

• arxiv url: http://arxiv.org/abs/2404.12444v1
• Date: Thu, 18 Apr 2024 18:03:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-22 17:04:06.781237
• Title: mOthello: When Do Cross-Lingual Representation Alignment and Cross-Lingual Transfer Emerge in Multilingual Models?
• Title（参考訳）: mOthello:多言語モデルにおける言語間表現アライメントと言語間移動の創出について
• Authors: Tianze Hua, Tian Yun, Ellie Pavlick,
• Abstract要約: 本稿では,2つの質問を探索するテストベッドとして,合成タスクであるMultilingual Othello(mOthello)を提案する。 多言語事前学習で訓練されたモデルは、全ての入力言語にまたがる言語ニュートラル表現を学習できないことがわかった。 本稿では,言語ニュートラル表現の学習を誘導し,言語間移動を促進する多言語事前学習手法を提案する。
• 参考スコア（独自算出の注目度）: 15.90185747024602
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many pretrained multilingual models exhibit cross-lingual transfer ability, which is often attributed to a learned language-neutral representation during pretraining. However, it remains unclear what factors contribute to the learning of a language-neutral representation, and whether the learned language-neutral representation suffices to facilitate cross-lingual transfer. We propose a synthetic task, Multilingual Othello (mOthello), as a testbed to delve into these two questions. We find that: (1) models trained with naive multilingual pretraining fail to learn a language-neutral representation across all input languages; (2) the introduction of "anchor tokens" (i.e., lexical items that are identical across languages) helps cross-lingual representation alignment; and (3) the learning of a language-neutral representation alone is not sufficient to facilitate cross-lingual transfer. Based on our findings, we propose a novel approach - multilingual pretraining with unified output space - that both induces the learning of language-neutral representation and facilitates cross-lingual transfer.
• Abstract（参考訳）: 事前訓練された多言語モデルの多くは言語間移動能力を示しており、これは事前訓練中に学習された言語ニュートラル表現に起因することが多い。 しかし、言語ニュートラル表現の学習にどのような要因が寄与するか、学習された言語ニュートラル表現が言語間移動を促進するのに十分であるかどうかは不明である。 本稿では,これら2つの質問を探索するためのテストベッドとして,多言語オセロ(mOthello)という合成タスクを提案する。 多言語事前学習で訓練されたモデルは、すべての入力言語で言語ニュートラル表現を学習することができず、(2)"アンカートークン"(すなわち、言語間で同一の語彙項目)の導入は、言語ニュートラル表現のみの学習は、言語間移動を促進するのに十分ではない。 そこで本研究では,言語ニュートラル表現の学習を誘導し,言語間移動を促進する多言語事前学習手法を提案する。

関連論文リスト

• How Do Multilingual Encoders Learn Cross-lingual Representation? [8.409283426564977]
  言語間転送は、他言語からの転送によって、トレーニングデータをほとんど、あるいは全く持たない言語に恩恵を与える。 この論文はまず、様々なタスクにおける先行技術と比較して、驚くべき言語間効果を示す。 また、多言語エンコーダに異なる言語間信号を注入する方法や、これらのモデルを用いた言語間転送の最適化挙動についても検討する。
  論文  参考訳（メタデータ） (2022-07-12T17:57:05Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Cross-Lingual Language Model Meta-Pretraining [21.591492094502424]
  異なる学習段階における2つの能力について学習する言語間メタプレトレーニングを提案する。 本手法は一般化と言語間移動を両立させ,様々な言語にまたがる表現の整合性を向上する。
  論文  参考訳（メタデータ） (2021-09-23T03:47:44Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)
• Gender Bias in Multilingual Embeddings and Cross-Lingual Transfer [101.58431011820755]
  多言語埋め込みにおけるジェンダーバイアスとNLPアプリケーションの伝達学習への影響について検討する。 我々は、バイアス分析のための多言語データセットを作成し、多言語表現におけるバイアスの定量化方法をいくつか提案する。
  論文  参考訳（メタデータ） (2020-05-02T04:34:37Z)
• On the Language Neutrality of Pre-trained Multilingual Representations [70.93503607755055]
  語彙意味論に関して,多言語文脈埋め込みの言語中立性を直接的に検討する。 その結果、文脈埋め込みは言語ニュートラルであり、概して静的な単語型埋め込みよりも情報的であることがわかった。 本稿では,言語識別における最先端の精度に到達し,並列文の単語アライメントのための統計的手法の性能を一致させる方法について述べる。
  論文  参考訳（メタデータ） (2020-04-09T19:50:32Z)
• Understanding Cross-Lingual Syntactic Transfer in Multilingual Recurrent Neural Networks [3.9342247746757435]
  現在、現代のニューラル言語モデルが複数の言語で同時にトレーニングできることが確立されている。 しかし、これらのモデル内の言語間でどのような知識が共有されているのか? 本稿では,言語間移動の異なる形態を識別し,その決定要因について検討する。 我々のLMを関連言語に公開することは、目標言語における文法的知識を常に増加させる訳ではなく、語彙-意味的移動の最適条件が構文的移動に最適でないことを我々は見出した。
  論文  参考訳（メタデータ） (2020-03-31T09:48:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。