論文の概要: Leveraging Multi-lingual Positive Instances in Contrastive Learning to
Improve Sentence Embedding
- arxiv url: http://arxiv.org/abs/2309.08929v1
- Date: Sat, 16 Sep 2023 08:54:30 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-19 18:33:08.979185
- Title: Leveraging Multi-lingual Positive Instances in Contrastive Learning to
Improve Sentence Embedding
- Title(参考訳): コントラスト学習における多言語陽性事例の活用による文の埋め込み改善
- Authors: Kaiyan Zhao, Qiyu Wu, Xin-Qiang Cai, Yoshimasa Tsuruoka
- Abstract要約: 複数の正の活用は多言語文の埋め込みに考慮すべきである,と我々は主張する。
本稿では,多言語文の埋め込み学習を改善するために,複数の正のインスタンスを効果的に活用するための新しいアプローチMPCLを提案する。
- 参考スコア(独自算出の注目度): 17.12010497289781
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Learning multi-lingual sentence embeddings is a fundamental and significant
task in natural language processing. Recent trends of learning both
mono-lingual and multi-lingual sentence embeddings are mainly based on
contrastive learning (CL) with an anchor, one positive, and multiple negative
instances. In this work, we argue that leveraging multiple positives should be
considered for multi-lingual sentence embeddings because (1) positives in a
diverse set of languages can benefit cross-lingual learning, and (2) transitive
similarity across multiple positives can provide reliable structural
information to learn. In order to investigate the impact of CL with multiple
positives, we propose a novel approach MPCL to effectively utilize multiple
positive instances to improve learning multi-lingual sentence embeddings. Our
experimental results on various backbone models and downstream tasks support
that compared with conventional CL, MPCL leads to better retrieval, semantic
similarity, and classification performances. We also observe that on unseen
languages, sentence embedding models trained on multiple positives have better
cross-lingual transferring performance than models trained on a single positive
instance.
- Abstract(参考訳): 多言語文埋め込みの学習は自然言語処理において基本的かつ重要な課題である。
最近の一言語文と多言語文の埋め込みの学習の傾向は、主にアンカーと1つの正、複数の負のインスタンスを持つ対照的学習(CL)に基づいている。
本研究では,(1)多様な言語群における正は言語間学習に有用であり,(2)複数の正語間の推移的類似性は,学習に信頼できる構造情報を提供できるため,多言語文埋め込みに複数の正の活用を考慮すべきである。
本稿では,多言語文の埋め込み学習を改善するために,複数の正のインスタンスを効果的に活用するための新しいアプローチMPCLを提案する。
各種バックボーンモデルおよび下流タスクに対する実験結果から,MPCLは従来のCLと比較して,検索性,意味的類似性,分類性能が向上することがわかった。
また,未熟な言語では,複数の正のインスタンスで訓練された文埋め込みモデルの方が,単一の正のインスタンスで訓練されたモデルよりも言語間伝達性能が優れていることも観察した。
関連論文リスト
- Improving Multi-lingual Alignment Through Soft Contrastive Learning [9.454626745893798]
本稿では,事前学習した単言語埋め込みモデルによって測定された文の類似性に基づいて,多言語埋め込みを整合させる新しい手法を提案する。
翻訳文ペアが与えられた場合、言語間埋め込み間の類似性は、単言語教師モデルで測定された文の類似性に従うように、多言語モデルを訓練する。
論文 参考訳(メタデータ) (2024-05-25T09:46:07Z) - Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。
多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。
実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
論文 参考訳(メタデータ) (2023-11-14T11:24:08Z) - VECO 2.0: Cross-lingual Language Model Pre-training with
Multi-granularity Contrastive Learning [56.47303426167584]
複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。
具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。
トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
論文 参考訳(メタデータ) (2023-04-17T12:23:41Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Exposing Cross-Lingual Lexical Knowledge from Multilingual Sentence
Encoders [85.80950708769923]
本稿では,多言語言語モデルを用いて,それらのパラメータに格納された言語間語彙の知識量を探索し,元の多言語LMと比較する。
また、この知識を付加的に微調整した多言語モデルにより公開する新しい手法も考案した。
標準ベンチマークの大幅な向上を報告します。
論文 参考訳(メタデータ) (2022-04-30T13:23:16Z) - Multi-Level Contrastive Learning for Cross-Lingual Alignment [35.33431650608965]
マルチリンガルBERT(mBERT)のような言語間事前学習モデルは、様々な言語間下流のNLPタスクにおいて大きな性能を発揮している。
本稿では,事前学習モデルの言語間能力の向上を図るために,マルチレベルコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-02-26T07:14:20Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳(メタデータ) (2021-09-01T09:32:06Z) - On Negative Interference in Multilingual Models: Findings and A
Meta-Learning Treatment [59.995385574274785]
従来の信念に反して、負の干渉は低リソース言語にも影響を及ぼすことを示す。
メタ学習アルゴリズムは、より優れた言語間変換性を得、負の干渉を軽減する。
論文 参考訳(メタデータ) (2020-10-06T20:48:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。