論文の概要: PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2201.12093v1
• Date: Fri, 28 Jan 2022 13:02:41 GMT
• ステータス: 処理完了
• システム内更新日: 2022-01-31 14:58:43.716115
• Title: PCL: Peer-Contrastive Learning with Diverse Augmentations for Unsupervised Sentence Embeddings
• Title（参考訳）: PCL:教師なし文埋め込みのための多言語拡張によるピアコントラスト学習
• Authors: Qiyu Wu, Chongyang Tao, Tao Shen, Can Xu, Xiubo Geng, Daxin Jiang
• Abstract要約: 本稿では,多彩な拡張を伴う新しいピアコントラスト学習(PCL)を提案する。 PCLは、教師なし文の埋め込みのために、グループレベルで様々な対照的な正と負を構成する。 PCLはピア陽性のコントラストとピアネットワークの協調が可能である。
• 参考スコア（独自算出の注目度）: 69.87899694963251
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Learning sentence embeddings in an unsupervised manner is fundamental in natural language processing. Recent common practice is to couple pre-trained language models with unsupervised contrastive learning, whose success relies on augmenting a sentence with a semantically-close positive instance to construct contrastive pairs. Nonetheless, existing approaches usually depend on a mono-augmenting strategy, which causes learning shortcuts towards the augmenting biases and thus corrupts the quality of sentence embeddings. A straightforward solution is resorting to more diverse positives from a multi-augmenting strategy, while an open question remains about how to unsupervisedly learn from the diverse positives but with uneven augmenting qualities in the text field. As one answer, we propose a novel Peer-Contrastive Learning (PCL) with diverse augmentations. PCL constructs diverse contrastive positives and negatives at the group level for unsupervised sentence embeddings. PCL can perform peer-positive contrast as well as peer-network cooperation, which offers an inherent anti-bias ability and an effective way to learn from diverse augmentations. Experiments on STS benchmarks verify the effectiveness of our PCL against its competitors in unsupervised sentence embeddings.
• Abstract（参考訳）: 教師なしの方法で文を埋め込む学習は自然言語処理において基本である。 最近の一般的な実践は、教師なしのコントラスト学習と事前訓練された言語モデルを組み合わせることである。 それにもかかわらず、既存のアプローチは、通常単調な戦略に依存しているため、バイアスの増大に対する学習の近道が引き起こされ、したがって文埋め込みの品質が損なわれる。 率直な解決策は、多元的戦略からより多様なポジティブスに頼ることであるが、オープンな疑問は、様々なポジティブスから教師なしで学ぶ方法でありながら、テキストフィールドの質を均等に増やすことである。 1つの答えとして,多種多様な拡張を伴うペアコントラスト学習(PCL)を提案する。 pclは、教師なし文埋め込みの群レベルでの多様な対比的正と負を構成する。 pclはピアポジティブなコントラストやピアネットワークの協調を行うことができ、独自のアンチバイアス能力と多様な拡張から学ぶ効果的な方法を提供する。 stsベンチマーク実験は,教師なし文埋め込みにおける競合相手に対するpclの有効性を検証する。

関連論文リスト

• Leveraging Multi-lingual Positive Instances in Contrastive Learning to Improve Sentence Embedding [17.12010497289781]
  複数の正の活用は多言語文の埋め込みに考慮すべきである,と我々は主張する。 本稿では,多言語文埋め込みの学習を改善するために,MPCLという新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-09-16T08:54:30Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Improving Contrastive Learning of Sentence Embeddings from AI Feedback [43.56070504980024]
  教師付きコントラスト学習は、人間のフィードバックラベルとより正確なサンプルペアを生成することができる。 提案手法は,大規模な事前学習言語モデルからのAIフィードバックを利用して,詳細なサンプル類似度スコアを持つサンプルペアを構築する。 実験結果から,本手法はいくつかの意味的テキスト類似性タスクにおいて,最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-03T06:26:13Z)
• Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
  非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。 非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。 実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
  論文  参考訳（メタデータ） (2022-07-18T04:14:36Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Simple Contrastive Representation Adversarial Learning for NLP Tasks [17.12062566060011]
  教師付きコントラスト対逆学習(SCAL)と教師なしSCAL(USCAL)の2つの新しいフレームワークを提案する。 本稿では,自然言語理解,文意味的テキスト類似性,対人学習タスクのためのTransformerベースのモデルに適用する。 GLUEベンチマークタスクの実験結果から,細調整された教師付き手法はBERT$_base$1.75%以上の性能を示した。
  論文  参考訳（メタデータ） (2021-11-26T03:16:09Z)
• Contrastive Learning with Adversarial Examples [79.39156814887133]
  コントラスト学習(Contrastive Learning, CL)は、視覚表現の自己教師型学習(SSL)において一般的な手法である。 本稿では,コンストラクティブ・ラーニングのための新しい逆例群を紹介し,これらの例を用いてCLAEと表記されるSSLの新しい逆トレーニングアルゴリズムを定義する。
  論文  参考訳（メタデータ） (2020-10-22T20:45:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。