論文の概要: Sentence Representation Learning with Generative Objective rather than Contrastive Objective

• arxiv url: http://arxiv.org/abs/2210.08474v1
• Date: Sun, 16 Oct 2022 07:47:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-18 18:15:27.916001
• Title: Sentence Representation Learning with Generative Objective rather than Contrastive Objective
• Title（参考訳）: 対照目的ではなく生成目的を用いた文表現学習
• Authors: Bohong Wu, Hai Zhao
• Abstract要約: 句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
• 参考スコア（独自算出の注目度）: 86.01683892956144
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Though offering amazing contextualized token-level representations, current pre-trained language models take less attention on accurately acquiring sentence-level representation during their self-supervised pre-training. However, contrastive objectives which dominate the current sentence representation learning bring little linguistic interpretability and no performance guarantee on downstream semantic tasks. We instead propose a novel generative self-supervised learning objective based on phrase reconstruction. To overcome the drawbacks of previous generative methods, we carefully model intra-sentence structure by breaking down one sentence into pieces of important phrases. Empirical studies show that our generative learning achieves powerful enough performance improvement and outperforms the current state-of-the-art contrastive methods not only on the STS benchmarks, but also on downstream semantic retrieval and reranking tasks. Our code is available at https://github.com/chengzhipanpan/PaSeR.
• Abstract（参考訳）: 素晴らしい文脈化トークンレベルの表現を提供するが、現在の事前訓練された言語モデルは、自己教師付き事前訓練中の文レベルの表現を正確に取得することにはあまり注意を払わない。 しかし、現在の文表現学習を支配する対照的な目的は、言語解釈性がほとんどなく、下流意味的タスクにおける性能保証がない。 そこで我々は,句再構成に基づく新たな自己教師型学習目標を提案する。 従来の生成手法の欠点を克服するために,1つの文を重要なフレーズに分割することで文内構造を慎重にモデル化する。 実証実験により,我々の生成学習は,STSベンチマークだけでなく,下流のセマンティック検索やタスクの再評価においても,十分な性能向上を実現し,最先端のコントラスト手法よりも優れていることが示された。 私たちのコードはhttps://github.com/chengzhipanpan/paserで入手できる。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• CLEAR: Contrastive Learning for Sentence Representation [41.867438597420346]
  複数の文レベルの拡張戦略を採用した文表現用コントラストLEArning(CLEAR)を提案する。 これらの増分には単語とスパンの削除、再順序付け、置換が含まれる。 私たちのアプローチは、SentEvalとGLUEベンチマークの両方で複数の既存のメソッドを上回ることが示されています。
  論文  参考訳（メタデータ） (2020-12-31T06:40:13Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。