論文の概要: Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding

• arxiv url: http://arxiv.org/abs/2211.03348v1
• Date: Mon, 7 Nov 2022 07:50:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-08 16:54:03.902050
• Title: Contrastive Learning with Prompt-derived Virtual Semantic Prototypes for Unsupervised Sentence Embedding
• Title（参考訳）: 教師なし文埋め込みのためのpromply-from virtual semantic prototypesによるコントラスト学習
• Authors: Jiali Zeng, Yongjing Yin, Yufan Jiang, Shuangzhi Wu, Yunbo Cao
• Abstract要約: 本稿では, Prompt- derived Virtual semantic Prototypes (ConPVP) を用いた新しいコントラスト学習手法を提案する。 仮想的な意味的プロトタイプを各インスタンスに構築し、負のプロンプト形式を用いて負のプロトタイプを導出する。 対照的な損失を用いて,アンカー文の埋め込みを,対応するセマンティックプロトタイプに近づけるように強制する。
• 参考スコア（独自算出の注目度）: 24.350264932134078
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has become a new paradigm for unsupervised sentence embeddings. Previous studies focus on instance-wise contrastive learning, attempting to construct positive pairs with textual data augmentation. In this paper, we propose a novel Contrastive learning method with Prompt-derived Virtual semantic Prototypes (ConPVP). Specifically, with the help of prompts, we construct virtual semantic prototypes to each instance, and derive negative prototypes by using the negative form of the prompts. Using a prototypical contrastive loss, we enforce the anchor sentence embedding to be close to its corresponding semantic prototypes, and far apart from the negative prototypes as well as the prototypes of other sentences. Extensive experimental results on semantic textual similarity, transfer, and clustering tasks demonstrate the effectiveness of our proposed model compared to strong baselines. Code is available at https://github.com/lemon0830/promptCSE.
• Abstract（参考訳）: コントラスト学習は教師なし文埋め込みの新しいパラダイムとなった。 以前の研究では、インスタンス間のコントラスト学習に注目し、テキストデータ拡張によるポジティブペアの構築を試みた。 本稿では, Prompt- derived Virtual semantic Prototypes (ConPVP) を用いたコントラスト学習手法を提案する。 具体的には、プロンプトの助けを借りて、各インスタンスに仮想意味プロトタイプを構築し、プロンプトの負の形式を用いて負のプロトタイプを導出する。 原型的なコントラスト損失を用いて,アンカー文の埋め込みを,対応する意味的プロトタイプに近いものに強制し,否定的なプロトタイプや他の文のプロトタイプからはるかに離れている。 セマンティックテキスト類似性,移動,クラスタリングタスクに関する大規模な実験結果から,提案モデルの有効性を強いベースラインと比較した。 コードはhttps://github.com/lemon0830/promptCSEで入手できる。

関連論文リスト

• Advancing Interpretability in Text Classification through Prototype Learning [1.9526476410335776]
  ProtoLensはプロトタイプベースのモデルで、テキスト分類のための詳細なサブ文レベルの解釈機能を提供する。 ProtoLensは、Prototype-aware Span extractモジュールを使用して、関連するテキストスパンを識別する。 ProtoLensは、競争精度を維持しながら解釈可能な予測を提供する。
  論文  参考訳（メタデータ） (2024-10-23T03:53:46Z)
• Negative Prototypes Guided Contrastive Learning for WSOD [8.102080369924911]
  近年,画像レベルのアノテーションのみを持つ弱監視対象検出(WSOD)が注目されている。 本稿では,Native Prototypes Guided Contrastive Learning Architectureを提案する。 提案手法は最先端の性能を実現する。
  論文  参考訳（メタデータ） (2024-06-04T08:16:26Z)
• CAPro: Webly Supervised Learning with Cross-Modality Aligned Prototypes [93.71909293023663]
  クロスモダリティ・アライテッド・プロトタイプ(CAPro)は、視覚表現を正しい意味論で学習する統合コントラスト学習フレームワークである。 CAProは、新しい最先端のパフォーマンスを実現し、オープンセット認識に対する堅牢性を示す。
  論文  参考訳（メタデータ） (2023-10-15T07:20:22Z)
• ConsPrompt: Exploiting Contrastive Samples for Fewshot Prompt Learning [37.219617741198334]
  本研究では,プロンプト表現のロバスト性を改善するために,適切なコントラストサンプルと多自由度コントラスト学習手法について検討する。 以上の結果から, 高速微調整プロセスにおける多自由度コントラスト学習の有効性が証明された。
  論文  参考訳（メタデータ） (2022-11-08T09:29:45Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• Robust Textual Embedding against Word-level Adversarial Attacks [15.235449552083043]
  我々は、FTML(Fast Triplet Metric Learning)と呼ばれる新しい堅牢なトレーニング手法を提案する。 FTMLは, 様々な先進攻撃に対して, モデルロバスト性を著しく向上させることができることを示す。 我々の研究は、ロバストな単語埋め込みによってテキストの堅牢性を改善する大きな可能性を示している。
  論文  参考訳（メタデータ） (2022-02-28T14:25:00Z)
• Dual Prototypical Contrastive Learning for Few-shot Semantic Segmentation [55.339405417090084]
  本稿では,FSSタスクに適合する2つの特徴的コントラスト学習手法を提案する。 第一の考え方は、プロトタイプの特徴空間におけるクラス内距離を減少させながら、クラス間距離を増やすことで、プロトタイプをより差別的にすることである。 提案手法は,PASCAL-5iおよびCOCO-20iデータセット上で,最先端のFSS手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-11-09T08:14:50Z)
• Prototypical Representation Learning for Relation Extraction [56.501332067073065]
  本論文では, 遠隔ラベルデータから予測可能, 解釈可能, 堅牢な関係表現を学習することを目的とする。 文脈情報から各関係のプロトタイプを学習し,関係の本質的意味を最善に探求する。 いくつかの関係学習タスクの結果,本モデルが従来の関係モデルを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-03-22T08:11:43Z)
• Prototypical Contrastive Learning of Unsupervised Representations [171.3046900127166]
  原型コントラスト学習(Prototypeal Contrastive Learning, PCL)は、教師なし表現学習法である。 PCLは暗黙的にデータのセマンティック構造を学習された埋め込み空間にエンコードする。 PCLは、複数のベンチマークで最先端のインスタンスワイド・コントラスト学習法より優れている。
  論文  参考訳（メタデータ） (2020-05-11T09:53:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。