論文の概要: Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders

• arxiv url: http://arxiv.org/abs/2205.00267v1
• Date: Sat, 30 Apr 2022 13:23:16 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-04 10:56:56.895904
• Title: Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders
• Title（参考訳）: 多言語文エンコーダによる言語横断語彙知識の提示
• Authors: Ivan Vuli\'c, Goran Glava\v{s}, Fangyu Liu, Nigel Collier, Edoardo Maria Ponti, Anna Korhonen
• Abstract要約: 本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
• 参考スコア（独自算出の注目度）: 85.80950708769923
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Pretrained multilingual language models (LMs) can be successfully transformed into multilingual sentence encoders (SEs; e.g., LaBSE, xMPNET) via additional fine-tuning or model distillation on parallel data. However, it remains uncertain how to best leverage their knowledge to represent sub-sentence lexical items (i.e., words and phrases) in cross-lingual lexical tasks. In this work, we probe these SEs for the amount of cross-lingual lexical knowledge stored in their parameters, and compare them against the original multilingual LMs. We also devise a novel method to expose this knowledge by additionally fine-tuning multilingual models through inexpensive contrastive learning procedure, requiring only a small amount of word translation pairs. We evaluate our method on bilingual lexical induction (BLI), cross-lingual lexical semantic similarity, and cross-lingual entity linking, and report substantial gains on standard benchmarks (e.g., +10 Precision@1 points in BLI), validating that the SEs such as LaBSE can be 'rewired' into effective cross-lingual lexical encoders. Moreover, we show that resulting representations can be successfully interpolated with static embeddings from cross-lingual word embedding spaces to further boost the performance in lexical tasks. In sum, our approach provides an effective tool for exposing and harnessing multilingual lexical knowledge 'hidden' in multilingual sentence encoders.
• Abstract（参考訳）: 事前訓練された多言語言語モデル(LM)は、並列データに対する細調整やモデルの蒸留によって、多言語文エンコーダ(SE、LaBSE、xMPNET)に変換される。 しかし、言語横断的な語彙課題において、その知識をいかに活用して下位の語彙項目(例えば、単語や句)を表現するかは定かではない。 本研究では、これらのSEを、それらのパラメータに格納された言語間語彙知識の量として探索し、元の多言語LMと比較する。 また,低コストのコントラスト学習手法により多言語モデルを微調整し,少量の単語翻訳ペアを必要とする新しい手法も考案した。 本稿では, バイリンガル語彙帰納法(BLI), クロスリンガル語彙的類似性, およびクロスリンガル実体リンクについて検討し, 標準ベンチマーク(例えば, BLIの+10 Precision@1 点)でかなりの利得を報告し, LaBSE などの SE を有効言語的語彙的エンコーダに'再接続'できることを確認した。 さらに,結果表現を言語間埋め込み空間からの静的埋め込みと補間することで,語彙処理の性能をさらに高めることができることを示す。 要約すると,本手法は,多言語文エンコーダにおける多言語語彙知識「hidden」の露出と活用に有効なツールである。

関連論文リスト

• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Improving Multi-lingual Alignment Through Soft Contrastive Learning [9.454626745893798]
  本稿では,事前学習した単言語埋め込みモデルによって測定された文の類似性に基づいて,多言語埋め込みを整合させる新しい手法を提案する。 翻訳文ペアが与えられた場合、言語間埋め込み間の類似性は、単言語教師モデルで測定された文の類似性に従うように、多言語モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-25T09:46:07Z)
• Translate to Disambiguate: Zero-shot Multilingual Word Sense Disambiguation with Pretrained Language Models [67.19567060894563]
  事前訓練された言語モデル(PLM)は、豊富な言語間知識を学習し、多様なタスクでうまく機能するように微調整することができる。 C-WLT(Contextual Word-Level Translation)を用いた言語間単語感覚の捉え方の検討を行った。 モデルのサイズが大きくなるにつれて、PLMはより言語間単語認識の知識をエンコードし、WLT性能を改善するためのコンテキストを良くする。
  論文  参考訳（メタデータ） (2023-04-26T19:55:52Z)
• Efficiently Aligned Cross-Lingual Transfer Learning for Conversational Tasks using Prompt-Tuning [98.60739735409243]
  英語のような高リソース言語で訓練された言語モデルの言語間移動は、多くのNLPタスクのために広く研究されている。 並列および大規模多言語会話データセットである言語間アライメント事前学習のためのXSGDを導入する。 協調的な言語間表現を容易にするために,アライメントプロンプトを学習するための効率的なプロンプトチューニング手法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T18:46:01Z)
• Multilingual Representation Distillation with Contrastive Learning [20.715534360712425]
  コントラスト学習を多言語表現蒸留に統合し,並列文の品質評価に利用する。 我々は,多言語類似性探索とコーパスフィルタリングタスクによるアプローチの有効性を検証した。
  論文  参考訳（メタデータ） (2022-10-10T22:27:04Z)
• Massively Multilingual Lexical Specialization of Multilingual Transformers [18.766379322798837]
  本稿では,2つの標準言語間語彙タスクにおいて,多言語レキシカル特殊化が著しく向上することを示す。 我々は,語彙制約のない言語への多言語語彙の特殊化によって一般化できることを示唆し,特殊化に欠かせない言語に対するゲインを観察する。
  論文  参考訳（メタデータ） (2022-08-01T17:47:03Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。