論文の概要: RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank

• arxiv url: http://arxiv.org/abs/2305.16726v1
• Date: Fri, 26 May 2023 08:27:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-29 16:22:03.235730
• Title: RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank
• Title（参考訳）: RankCSE: ランクへの学習による教師なしの文表現学習
• Authors: Jiduan Liu, Jiahao Liu, Qifan Wang, Jingang Wang, Wei Wu, Yunsen Xian, Dongyan Zhao, Kai Chen, Rui Yan
• Abstract要約: 本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
• 参考スコア（独自算出の注目度）: 54.854714257687334
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unsupervised sentence representation learning is one of the fundamental problems in natural language processing with various downstream applications. Recently, contrastive learning has been widely adopted which derives high-quality sentence representations by pulling similar semantics closer and pushing dissimilar ones away. However, these methods fail to capture the fine-grained ranking information among the sentences, where each sentence is only treated as either positive or negative. In many real-world scenarios, one needs to distinguish and rank the sentences based on their similarities to a query sentence, e.g., very relevant, moderate relevant, less relevant, irrelevant, etc. In this paper, we propose a novel approach, RankCSE, for unsupervised sentence representation learning, which incorporates ranking consistency and ranking distillation with contrastive learning into a unified framework. In particular, we learn semantically discriminative sentence representations by simultaneously ensuring ranking consistency between two representations with different dropout masks, and distilling listwise ranking knowledge from the teacher. An extensive set of experiments are conducted on both semantic textual similarity (STS) and transfer (TR) tasks. Experimental results demonstrate the superior performance of our approach over several state-of-the-art baselines.
• Abstract（参考訳）: 教師なし文表現学習は、様々な下流アプリケーションを用いた自然言語処理における基本的な問題の一つである。 近年,類似したセマンティクスを近付け,異義語を押し出すことによって高品質な文表現を導出するコントラスト学習が広く採用されている。 しかし、これらの方法は、各文が正か負かのいずれかとしてのみ扱われる文間の細粒度ランキング情報を捉えられなかった。 多くの現実世界のシナリオでは、クエリ文との類似性に基づいて、文章を区別してランク付けする必要がある。 本稿では,非教師付き文表現学習のための新しい手法である RankCSE を提案する。 特に,異なるドロップアウトマスクを持つ2つの表現間のランキング一貫性を確保し,教師からリストワイズランキング知識を蒸留することにより,意味論的識別文表現を学習する。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。 実験結果は,いくつかの最先端ベースラインにおいて,提案手法の優れた性能を示す。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• Towards Unsupervised Recognition of Token-level Semantic Differences in Related Documents [61.63208012250885]
  意味的差異をトークンレベルの回帰タスクとして認識する。 マスク付き言語モデルに依存する3つの教師なしアプローチについて検討する。 その結果,単語アライメントと文レベルのコントラスト学習に基づくアプローチは,ゴールドラベルと強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-22T17:58:04Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
  DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T17:32:01Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Pair-Level Supervised Contrastive Learning for Natural Language Inference [11.858875850000457]
  Pair-level Supervised Contrastive Learning approach (PairSCL)を提案する。 対照的な学習目的は、1つのクラスでそれらをまとめて、他のクラスでペアを分割することで、文対の様々なクラスを区別するように設計されている。 NLIの2つの公開データセット上でPairSCLの評価を行い、PairSCLの精度は平均2.1%向上した。
  論文  参考訳（メタデータ） (2022-01-26T13:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。