論文の概要: Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

• arxiv url: http://arxiv.org/abs/2004.09813v2
• Date: Mon, 5 Oct 2020 06:30:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-11 06:47:37.916693
• Title: Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation
• Title（参考訳）: 知識蒸留を用いた単言語文埋め込み
• Authors: Nils Reimers, Iryna Gurevych
• Abstract要約: 既存の文埋め込みモデルを新しい言語に拡張する,簡単かつ効率的な手法を提案する。 これにより、以前のモノリンガルモデルから多言語バージョンを作成することができる。
• 参考スコア（独自算出の注目度）: 73.65237422910738
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We present an easy and efficient method to extend existing sentence embedding models to new languages. This allows to create multilingual versions from previously monolingual models. The training is based on the idea that a translated sentence should be mapped to the same location in the vector space as the original sentence. We use the original (monolingual) model to generate sentence embeddings for the source language and then train a new system on translated sentences to mimic the original model. Compared to other methods for training multilingual sentence embeddings, this approach has several advantages: It is easy to extend existing models with relatively few samples to new languages, it is easier to ensure desired properties for the vector space, and the hardware requirements for training is lower. We demonstrate the effectiveness of our approach for 50+ languages from various language families. Code to extend sentence embeddings models to more than 400 languages is publicly available.
• Abstract（参考訳）: 既存の文埋め込みモデルを新しい言語に拡張する,簡単かつ効率的な手法を提案する。 これにより、以前の単言語モデルから多言語バージョンを作成することができる。 トレーニングは、翻訳文は、元の文と同じベクトル空間内の同じ位置にマッピングされるべきであるという考えに基づいている。 我々は、原文(単言語)モデルを用いて、原文の埋め込みを生成し、翻訳文に対する新しいシステムを訓練し、原文を模倣する。 比較的少数のサンプルで既存のモデルを新しい言語に拡張することが容易であり、ベクトル空間の望ましい性質を確実にすることが容易であり、トレーニングのハードウェア要件も低い。 各種言語ファミリーの50以上の言語に対するアプローチの有効性を実証する。 文埋め込みモデルを400以上の言語に拡張するコードも公開されている。

関連論文リスト

• Extending the Subwording Model of Multilingual Pretrained Models for New Languages [31.702393348980735]
  本稿では,SentencePieceトークンに新たなサブワードを追加し,多言語事前学習モデルを新しい言語に適用する。 実験では、すでに訓練済みの言語のセグメンテーションを変更することなく、Inuktitut文をサブワードに分割した。
  論文  参考訳（メタデータ） (2022-11-29T06:55:34Z)
• Language-Family Adapters for Low-Resource Multilingual Neural Machine Translation [129.99918589405675]
  自己超越で訓練された大規模多言語モデルは、幅広い自然言語処理タスクにおいて最先端の結果を達成する。 マルチリンガルな微調整は低リソース言語のパフォーマンスを向上させるが、モデル全体を変更する必要があるため、極めて高価である。 言語間移動を容易にするため,mBART-50上で言語ファミリーアダプタを訓練する。
  論文  参考訳（メタデータ） (2022-09-30T05:02:42Z)
• WECHSEL: Effective initialization of subword embeddings for cross-lingual transfer of monolingual language models [3.6878069324996616]
  WECHSELと呼ばれる手法を導入し、新しい言語に英語モデルを転送する。 We use WECHSEL to transfer GPT-2 and RoBERTa models to four other languages。
  論文  参考訳（メタデータ） (2021-12-13T12:26:02Z)
• Continual Learning in Multilingual NMT via Language-Specific Embeddings [92.91823064720232]
  共有語彙を小さな言語固有の語彙に置き換え、新しい言語の並列データに新しい埋め込みを微調整する。 元のモデルのパラメータは変更されていないため、初期言語の性能は劣化しない。
  論文  参考訳（メタデータ） (2021-10-20T10:38:57Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• UNKs Everywhere: Adapting Multilingual Language Models to New Scripts [103.79021395138423]
  マルチリンガルBERT(mBERT)やXLM-Rのような多言語言語モデルは、様々なNLPタスクに対して最先端の言語間転送性能を提供する。 キャパシティの制限と事前トレーニングデータの大きな差のため、リソース豊富な言語とリソースを対象とする言語には大きなパフォーマンスギャップがある。 本稿では,事前学習した多言語モデルの低リソース言語や未知のスクリプトへの高速かつ効果的な適応を可能にする新しいデータ効率手法を提案する。
  論文  参考訳（メタデータ） (2020-12-31T11:37:28Z)
• Multilingual Translation with Extensible Multilingual Pretraining and Finetuning [77.33262578776291]
  これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。 多言語翻訳モデルは多言語微調整により作成可能であることを示す。 事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
  論文  参考訳（メタデータ） (2020-08-02T05:36:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。