論文の概要: Debiased Contrastive Learning of Unsupervised Sentence Representations

• arxiv url: http://arxiv.org/abs/2205.00656v1
• Date: Mon, 2 May 2022 05:07:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-03 14:25:10.279166
• Title: Debiased Contrastive Learning of Unsupervised Sentence Representations
• Title（参考訳）: 教師なし文表現の偏差コントラスト学習
• Authors: Kun Zhou, Beichen Zhang, Wayne Xin Zhao and Ji-Rong Wen
• Abstract要約: コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
• 参考スコア（独自算出の注目度）: 88.58117410398759
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, contrastive learning has been shown to be effective in improving pre-trained language models (PLM) to derive high-quality sentence representations. It aims to pull close positive examples to enhance the alignment while push apart irrelevant negatives for the uniformity of the whole representation space. However, previous works mostly adopt in-batch negatives or sample from training data at random. Such a way may cause the sampling bias that improper negatives (e.g. false negatives and anisotropy representations) are used to learn sentence representations, which will hurt the uniformity of the representation space. To address it, we present a new framework \textbf{DCLR} (\underline{D}ebiased \underline{C}ontrastive \underline{L}earning of unsupervised sentence \underline{R}epresentations) to alleviate the influence of these improper negatives. In DCLR, we design an instance weighting method to punish false negatives and generate noise-based negatives to guarantee the uniformity of the representation space. Experiments on seven semantic textual similarity tasks show that our approach is more effective than competitive baselines. Our code and data are publicly available at the link: \textcolor{blue}{\url{https://github.com/RUCAIBox/DCLR}}.
• Abstract（参考訳）: 近年,ハイクオリティな文表現を導出する事前学習型言語モデル(plm)の改善にコントラスト学習が有効であることが示されている。 これは、表現空間全体の一様性に対して無関係な負を押しつぶしながらアライメントを強化するために、近い正の例を引き出すことを目的としている。 しかし、以前の研究は主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 このような方法は、不適切な負(例えば偽陰性や異方性表現)が文表現の学習に使用されるサンプリングバイアスを引き起こし、表現空間の均一性を損なう。 そこで我々は,これらの不適切な否定の影響を軽減するために,新しいフレームワーク \textbf{dclr} (\underline{d}ebiased \underline{c}ontrastive \underline{l}earning of unsupervised sentence \underline{r}epresentations)を提案する。 DCLRでは、偽陰性を罰し、雑音に基づく陰性を生成し、表現空間の均一性を保証するインスタンス重み付け法を設計する。 7つの意味的テキスト類似性タスクの実験は、我々のアプローチが競合ベースラインよりも効果的であることを示している。 コードとデータはリンクで公開されている。 \textcolor{blue}{\url{https://github.com/RUCAIBox/DCLR}}。

関連論文リスト

• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Your Negative May not Be True Negative: Boosting Image-Text Matching with False Negative Elimination [62.18768931714238]
  提案手法は, サンプリングによる新規な偽陰性除去 (FNE) 戦略である。 その結果,提案した偽陰性除去戦略の優位性が示された。
  論文  参考訳（メタデータ） (2023-08-08T16:31:43Z)
• Clustering-Aware Negative Sampling for Unsupervised Sentence Representation [24.15096466098421]
  ClusterNSは、教師なし文表現学習のためのコントラスト学習にクラスタ情報を組み込む新しい手法である。 修正K平均クラスタリングアルゴリズムを用いて、ハードネガティブを供給し、トレーニング中にバッチ内偽陰性を認識する。
  論文  参考訳（メタデータ） (2023-05-17T02:06:47Z)
• Language Model Pre-training on True Negatives [109.73819321246062]
  差別的事前訓練言語モデル(PLM)は、故意に破損した言語から原文を予測することを学ぶ。 既存のPLMは、すべての破損したテキストを検査せずに同等に否定的に扱う。 我々は、偽陰性予測に対処し、真陰性に関する事前学習言語モデルを促進するために、強化された事前学習手法を設計する。
  論文  参考訳（メタデータ） (2022-12-01T12:24:19Z)
• Exploring the Impact of Negative Samples of Contrastive Learning: A Case Study of Sentence Embedding [14.295787044482136]
  文埋め込みのための負のサンプル列を持つモーメントコントラスト学習モデル、すなわちMoCoSEを提案する。 我々は最大トレーサブル距離測定値を定義し、テキストが負のサンプルの履歴情報からどの程度の差があるかを学習する。 実験の結果,最大トレーサブル距離が一定の範囲にある場合に最もよい結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-02-26T08:29:25Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Negative Sample is Negative in Its Own Way: Tailoring Negative Sentences for Image-Text Retrieval [19.161248757493386]
  本稿では, 否定文として自動的に合成文を生成するために, 識別・訂正による否定文をTAGS-DC(TAiloring Negative Sentences with Discrimination and Correction)を提案する。 トレーニング中の難易度を維持するため,パラメータ共有による検索と生成を相互に改善する。 実験では,MS-COCOおよびFlickr30Kにおけるモデルの有効性を,現在の最先端モデルと比較して検証した。
  論文  参考訳（メタデータ） (2021-11-05T09:36:41Z)
• AdCo: Adversarial Contrast for Efficient Learning of Unsupervised Representations from Self-Trained Negative Adversaries [55.059844800514774]
  本稿では,正の問合せに対して識別が難しい表現を訓練するためのAdCoモデルを提案する。 実験により,AdCoモデルが優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2020-11-17T05:45:46Z)
• Contrastive Learning with Hard Negative Samples [80.12117639845678]
  我々は, 厳密な陰性サンプルを選択するために, 教師なしサンプリング手法を新たに開発する。 このサンプリングの制限ケースは、各クラスをしっかりとクラスタ化し、可能な限り異なるクラスを遠くにプッシュする表現をもたらす。 提案手法は、複数のモードをまたいだダウンストリーム性能を改善し、実装するコード行数が少なく、計算オーバーヘッドを伴わない。
  論文  参考訳（メタデータ） (2020-10-09T14:18:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。