論文の概要: Massively Multilingual Lexical Specialization of Multilingual Transformers

• arxiv url: http://arxiv.org/abs/2208.01018v3
• Date: Mon, 29 May 2023 13:59:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-31 03:52:04.502261
• Title: Massively Multilingual Lexical Specialization of Multilingual Transformers
• Title（参考訳）: 多言語トランスフォーマーの大規模多言語語彙特殊化
• Authors: Tommaso Green and Simone Paolo Ponzetto and Goran Glava\v{s}
• Abstract要約: 本稿では,2つの標準言語間語彙タスクにおいて,多言語レキシカル特殊化が著しく向上することを示す。 我々は,語彙制約のない言語への多言語語彙の特殊化によって一般化できることを示唆し,特殊化に欠かせない言語に対するゲインを観察する。
• 参考スコア（独自算出の注目度）: 18.766379322798837
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While pretrained language models (PLMs) primarily serve as general-purpose text encoders that can be fine-tuned for a wide variety of downstream tasks, recent work has shown that they can also be rewired to produce high-quality word representations (i.e., static word embeddings) and yield good performance in type-level lexical tasks. While existing work primarily focused on the lexical specialization of monolingual PLMs with immense quantities of monolingual constraints, in this work we expose massively multilingual transformers (MMTs, e.g., mBERT or XLM-R) to multilingual lexical knowledge at scale, leveraging BabelNet as the readily available rich source of multilingual and cross-lingual type-level lexical knowledge. Concretely, we use BabelNet's multilingual synsets to create synonym pairs (or synonym-gloss pairs) across 50 languages and then subject the MMTs (mBERT and XLM-R) to a lexical specialization procedure guided by a contrastive objective. We show that such massively multilingual lexical specialization brings substantial gains in two standard cross-lingual lexical tasks, bilingual lexicon induction and cross-lingual word similarity, as well as in cross-lingual sentence retrieval. Crucially, we observe gains for languages unseen in specialization, indicating that multilingual lexical specialization enables generalization to languages with no lexical constraints. In a series of subsequent controlled experiments, we show that the number of specialization constraints plays a much greater role than the set of languages from which they originate.
• Abstract（参考訳）: 事前訓練された言語モデル(PLM)は、主に様々な下流タスクのために微調整できる汎用テキストエンコーダとして機能するが、近年の研究により、高品質な単語表現(静的単語埋め込み)を生成するように再構成し、型レベルの語彙タスクで優れたパフォーマンスが得られることが示されている。 既存の研究は主に、大量の単言語制約を持つ単言語 PLM の語彙的特殊化に焦点を当てているが、本研究では、多言語型および多言語型レベルの語彙的知識の豊富な情報源として、BabelNetを活用することで、大規模な多言語語彙的知識(MMT、mBERT、XLM-R)を大規模に公開する。 具体的には、BabelNetの多言語合成を用いて、50言語にまたがる同義語対(または同義語対)を作成し、MMT(mBERTとXLM-R)を対照的な目的によってガイドされた語彙的特殊化手順に従わせる。 このような多言語語彙の特殊化は、バイリンガル語彙誘導と言語間単語類似性という2つの標準的な言語間語彙タスク、および言語間文検索において大きな利益をもたらすことを示す。 重要な点として,多言語語彙の特殊化が語彙制約のない言語への一般化を可能にすることを示す。 続く一連の制御実験において、特殊化制約の数は、それらが生み出す言語群よりもはるかに大きな役割を果たすことを示した。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• How Vocabulary Sharing Facilitates Multilingualism in LLaMA? [19.136382859468693]
  大きな言語モデル(LLM)は英語のタスクに強いパフォーマンスを示すが、他の言語には制限がある。 本研究では,語彙共有の観点からLLMの多言語的能力について検討する。
  論文  参考訳（メタデータ） (2023-11-15T16:13:14Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Romanization-based Large-scale Adaptation of Multilingual Language Models [124.57923286144515]
  大規模多言語事前学習言語モデル (mPLMs) は,NLPにおける多言語間移動のデファクトステートとなっている。 我々は、mPLMをローマン化および非ロマン化した14の低リソース言語コーパスに適用するためのデータとパラメータ効率の戦略を多数検討し、比較した。 以上の結果から, UROMAN をベースとしたトランスリテラルは,多くの言語で高い性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-04-18T09:58:34Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Cross-Lingual Ability of Multilingual Masked Language Models: A Study of Language Structure [54.01613740115601]
  本稿では,構成順序,構成,単語共起の3つの言語特性について検討する。 我々の主な結論は、構成順序と単語共起の寄与は限定的である一方、構成は言語間移動の成功にとってより重要であるということである。
  論文  参考訳（メタデータ） (2022-03-16T07:09:35Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• VECO: Variable and Flexible Cross-lingual Pre-training for Language Understanding and Generation [77.82373082024934]
  我々はTransformerエンコーダにクロスアテンションモジュールを挿入し、言語間の相互依存を明確に構築する。 独自の言語でコンテキストにのみ条件付けされたマスク付き単語の予測の退化を効果的に回避することができる。 提案した言語間モデルでは,XTREMEベンチマークのさまざまな言語間理解タスクに対して,最先端の新たな結果が提供される。
  論文  参考訳（メタデータ） (2020-10-30T03:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。