論文の概要: CLEAR: Contrastive Learning for Sentence Representation

• arxiv url: http://arxiv.org/abs/2012.15466v1
• Date: Thu, 31 Dec 2020 06:40:13 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:16:56.815541
• Title: CLEAR: Contrastive Learning for Sentence Representation
• Title（参考訳）: CLEAR: 文表現のコントラスト学習
• Authors: Zhuofeng Wu, Sinong Wang, Jiatao Gu, Madian Khabsa, Fei Sun, Hao Ma
• Abstract要約: 複数の文レベルの拡張戦略を採用した文表現用コントラストLEArning(CLEAR)を提案する。 これらの増分には単語とスパンの削除、再順序付け、置換が含まれる。 私たちのアプローチは、SentEvalとGLUEベンチマークの両方で複数の既存のメソッドを上回ることが示されています。
• 参考スコア（独自算出の注目度）: 41.867438597420346
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language models have proven their unique powers in capturing implicit language features. However, most pre-training approaches focus on the word-level training objective, while sentence-level objectives are rarely studied. In this paper, we propose Contrastive LEArning for sentence Representation (CLEAR), which employs multiple sentence-level augmentation strategies in order to learn a noise-invariant sentence representation. These augmentations include word and span deletion, reordering, and substitution. Furthermore, we investigate the key reasons that make contrastive learning effective through numerous experiments. We observe that different sentence augmentations during pre-training lead to different performance improvements on various downstream tasks. Our approach is shown to outperform multiple existing methods on both SentEval and GLUE benchmarks.
• Abstract（参考訳）: 事前訓練された言語モデルは、暗黙の言語特徴をキャプチャする独自の能力を証明している。 しかし、ほとんどの事前学習のアプローチは単語レベルの訓練目標に焦点を当てているが、文レベルの目標はほとんど研究されていない。 本稿では,雑音不変の文表現を学習するために,複数の文レベルの拡張戦略を用いた文表現のためのコントラストLEArningを提案する。 これらの拡張には、単語とスパンの削除、再注文、置換が含まれる。 さらに,多くの実験を通じてコントラスト学習を効果的にする主な要因について検討した。 学習中の文の増補が様々な下流タスクで異なるパフォーマンス改善をもたらすことを観察した。 提案手法は,SentEvalベンチマークとGLUEベンチマークの両方において,既存手法よりも優れた性能を示す。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• SDA: Simple Discrete Augmentation for Contrastive Sentence Representation Learning [14.028140579482688]
  SimCSEは、報告されているように、トリミング、単語削除、同義語置換といった個別の増強を驚くほど支配している。 我々は,句読点挿入,モーダル動詞,二重否定の3つの簡易かつ効果的な離散文拡張手法を開発した。 その結果,提案手法の優越性は一貫して向上した。
  論文  参考訳（メタデータ） (2022-10-08T08:07:47Z)
• Probing for Understanding of English Verb Classes and Alternations in Large Pre-trained Language Models [4.243426191555036]
  本研究では,大規模事前学習言語モデルの埋め込みにおいて,動詞の交替クラスがエンコードされる範囲について検討する。 PLMのコンテキスト埋め込みは、多くのクラスにおけるタスクに対する驚くほど高い精度を実現する。
  論文  参考訳（メタデータ） (2022-09-11T08:04:40Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。