論文の概要: Multilingual Representation Distillation with Contrastive Learning

• arxiv url: http://arxiv.org/abs/2210.05033v2
• Date: Sun, 30 Apr 2023 20:21:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-02 19:29:27.561368
• Title: Multilingual Representation Distillation with Contrastive Learning
• Title（参考訳）: コントラスト学習による多言語表現蒸留
• Authors: Weiting Tan, Kevin Heffernan, Holger Schwenk and Philipp Koehn
• Abstract要約: コントラスト学習を多言語表現蒸留に統合し,並列文の品質評価に利用する。 我々は,多言語類似性探索とコーパスフィルタリングタスクによるアプローチの有効性を検証した。
• 参考スコア（独自算出の注目度）: 20.715534360712425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual sentence representations from large models encode semantic information from two or more languages and can be used for different cross-lingual information retrieval and matching tasks. In this paper, we integrate contrastive learning into multilingual representation distillation and use it for quality estimation of parallel sentences (i.e., find semantically similar sentences that can be used as translations of each other). We validate our approach with multilingual similarity search and corpus filtering tasks. Experiments across different low-resource languages show that our method greatly outperforms previous sentence encoders such as LASER, LASER3, and LaBSE.
• Abstract（参考訳）: 大規模モデルの多言語文表現は、2つ以上の言語からの意味情報を符号化し、異なる言語間情報検索やマッチングタスクに使用できる。 本稿では,コントラスト学習を多言語表現蒸留と統合し,並列文の品質推定に利用する(すなわち,相互翻訳として使用できる意味的に類似した文を見つける)。 我々は多言語類似性探索とコーパスフィルタリングタスクによるアプローチを検証する。 異なる低リソース言語を対象とした実験により,従来の文エンコーダ(LASER, LASER3, LaBSE)よりも優れていた。

関連論文リスト

• Improving Multi-lingual Alignment Through Soft Contrastive Learning [9.454626745893798]
  本稿では,事前学習した単言語埋め込みモデルによって測定された文の類似性に基づいて,多言語埋め込みを整合させる新しい手法を提案する。 翻訳文ペアが与えられた場合、言語間埋め込み間の類似性は、単言語教師モデルで測定された文の類似性に従うように、多言語モデルを訓練する。
  論文  参考訳（メタデータ） (2024-05-25T09:46:07Z)
• Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
  本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。 我々のモデルは、$N$言語で並列データを操作する。 本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
  論文  参考訳（メタデータ） (2022-12-21T02:41:40Z)
• Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence Encoders [85.80950708769923]
  本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。 また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。 標準ベンチマークの大幅な向上を報告します。
  論文  参考訳（メタデータ） (2022-04-30T13:23:16Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)
• Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora [63.5286019659504]
  そこで本稿では,小さな並列コーパスに基づく文脈型言語間単語埋め込み学習手法を提案する。 本手法は,入力文の翻訳と再構成を同時に行うLSTMエンコーダデコーダモデルを用いて単語埋め込みを実現する。
  論文  参考訳（メタデータ） (2020-10-27T22:24:01Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。