論文の概要: Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning

• arxiv url: http://arxiv.org/abs/2204.09358v1
• Date: Wed, 20 Apr 2022 10:00:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-21 19:14:30.948014
• Title: Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning
• Title（参考訳）: ジェネレーティブかコントラストか? 文表現学習のためのフレーズ再構成
• Authors: Bohong Wu, Hai Zhao
• Abstract要約: 句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
• 参考スコア（独自算出の注目度）: 86.01683892956144
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Though offering amazing contextualized token-level representations, current pre-trained language models actually take less attention on acquiring sentence-level representation during its self-supervised pre-training. If self-supervised learning can be distinguished into two subcategories, generative and contrastive, then most existing studies show that sentence representation learning may more benefit from the contrastive methods but not the generative methods. However, contrastive learning cannot be well compatible with the common token-level generative self-supervised learning, and does not guarantee good performance on downstream semantic retrieval tasks. Thus, to alleviate such obvious inconveniences, we instead propose a novel generative self-supervised learning objective based on phrase reconstruction. Empirical studies show that our generative learning may yield powerful enough sentence representation and achieve performance in Sentence Textual Similarity (STS) tasks on par with contrastive learning. Further, in terms of unsupervised setting, our generative method outperforms previous state-of-the-art SimCSE on the benchmark of downstream semantic retrieval tasks.
• Abstract（参考訳）: 驚くべき文脈化されたトークンレベルの表現を提供するが、現在の事前訓練された言語モデルは、自己教師付き事前訓練中に文レベルの表現を取得することにはあまり注意を払わない。 自己教師付き学習が生成的および対比的という2つのサブカテゴリに区別できるなら、既存の研究は、文表現学習は、生成的方法ではなく、対比的方法の恩恵を受ける可能性があることを示している。 しかし、コントラスト学習は共通トークンレベルの自己教師付き学習と相性が良く、下流のセマンティック検索タスクにおいて優れた性能を保証できない。 そこで,このような明らかな不便を緩和するために,句の再構築に基づく新しい生成的自己教師付き学習目標を提案する。 経験的研究により、我々の生成学習は十分な文表現をもたらし、対照的な学習に匹敵する文文類似性(STS)タスクで性能を達成する可能性が示唆された。 さらに, 教師なし設定では, 下流セマンティック検索タスクのベンチマークにおいて, 従来のSimCSEよりも優れていた。

関連論文リスト

• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Simple Contrastive Representation Adversarial Learning for NLP Tasks [17.12062566060011]
  教師付きコントラスト対逆学習(SCAL)と教師なしSCAL(USCAL)の2つの新しいフレームワークを提案する。 本稿では,自然言語理解,文意味的テキスト類似性,対人学習タスクのためのTransformerベースのモデルに適用する。 GLUEベンチマークタスクの実験結果から,細調整された教師付き手法はBERT$_base$1.75%以上の性能を示した。
  論文  参考訳（メタデータ） (2021-11-26T03:16:09Z)
• Co$^2$L: Contrastive Continual Learning [69.46643497220586]
  近年の自己教師型学習のブレークスルーは、このようなアルゴリズムが視覚的な表現を学習し、見えないタスクにもっとうまく移行できることを示している。 本稿では、連続的な学習と伝達可能な表現の維持に焦点を当てたリハーサルに基づく連続学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-06-28T06:14:38Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。