論文の概要: Whitening-based Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2305.17746v1
• Date: Sun, 28 May 2023 14:58:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 16:58:04.968038
• Title: Whitening-based Contrastive Learning of Sentence Embeddings
• Title（参考訳）: ホワイトニングに基づく文埋め込みのコントラスト学習
• Authors: Wenjie Zhuo, Yifan Sun, Xiaohan Wang, Linchao Zhu, Yi Yang
• Abstract要約: 文埋め込み学習(WhitenedCSE)のためのホワイトニングに基づくコントラスト学習手法を提案する。 これら2つのアプローチは完全に冗長ではなく、実際には異なる一様性機構のために相補性を持っていることが分かる。
• 参考スコア（独自算出の注目度）: 61.38955786965527
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a whitening-based contrastive learning method for sentence embedding learning (WhitenedCSE), which combines contrastive learning with a novel shuffled group whitening. Generally, contrastive learning pulls distortions of a single sample (i.e., positive samples) close and push negative samples far away, correspondingly facilitating the alignment and uniformity in the feature space. A popular alternative to the "pushing'' operation is whitening the feature space, which scatters all the samples for uniformity. Since the whitening and the contrastive learning have large redundancy w.r.t. the uniformity, they are usually used separately and do not easily work together. For the first time, this paper integrates whitening into the contrastive learning scheme and facilitates two benefits. 1) Better uniformity. We find that these two approaches are not totally redundant but actually have some complementarity due to different uniformity mechanism. 2) Better alignment. We randomly divide the feature into multiple groups along the channel axis and perform whitening independently within each group. By shuffling the group division, we derive multiple distortions of a single sample and thus increase the positive sample diversity. Consequently, using multiple positive samples with enhanced diversity further improves contrastive learning due to better alignment. Extensive experiments on seven semantic textual similarity tasks show our method achieves consistent improvement over the contrastive learning baseline and sets new states of the art, e.g., 78.78\% (+2.53\% based on BERT\ba) Spearman correlation on STS tasks.
• Abstract（参考訳）: 本稿では,新しいシャッフルグループホワイトニングとコントラスト学習を組み合わせた,文埋め込み学習(whitenedcse)のためのホワイトニングベースのコントラスト学習手法を提案する。 一般的に、対照的学習は単一のサンプル(すなわち正のサンプル)の歪みを閉じて負のサンプルを遠くへ押し出し、特徴空間のアライメントと均一性を促進する。 プッシング」操作の一般的な代替手段は、全てのサンプルを均一に散乱させる特徴空間の白化である。 ホワイトニングとコントラスト学習は、均一性に大きな冗長性を持つため、通常は個別に使用され、共同作業は容易ではない。 本論文は, 初めて, ホワイトニングをコントラスト学習方式に統合し, 2つの利点を享受する。 1) 統一性の向上。 これらの2つのアプローチは完全に冗長ではなく、実際には異なる均一性機構のために相補性を持っている。 2)アライメントの改善。 特徴をチャネル軸に沿って複数のグループにランダムに分割し,各グループ内で独立してホワイトニングを行う。 群分割をシャッフルすることで、単一のサンプルの複数の歪みを導き、正のサンプル多様性を増加させる。 その結果、多様性が向上した複数の正のサンプルを使用することで、アライメントの向上によるコントラスト学習がさらに向上する。 7つの意味的テキスト類似性タスクに関する広範囲な実験は、我々の手法が対照的な学習ベースラインよりも一貫した改善を達成し、STSタスク上のスピアマン相関を78.78\%(+2.53\%)に設定していることを示している。

関連論文リスト

• Rethinking Positive Pairs in Contrastive Learning [19.149235307036324]
  視覚表現のための普遍的なコントラスト学習フレームワークであるHydraについて述べる。 このアプローチはIN1Kを用いて検証され、1Kの多様なクラスが500,500対からなる。 我々の研究は、任意のペアの共通の特徴を学習することの価値を強調し、弱い関係を持つサンプルペアに対する対照的な学習手法の適用性を広げる可能性がある。
  論文  参考訳（メタデータ） (2024-10-23T18:07:18Z)
• Contrastive Learning with Negative Sampling Correction [52.990001829393506]
  PUCL(Positive-Unlabeled Contrastive Learning)という新しいコントラスト学習手法を提案する。 PUCLは生成した負のサンプルをラベルのないサンプルとして扱い、正のサンプルからの情報を用いて、対照的な損失のバイアスを補正する。 PUCLは一般的なコントラスト学習問題に適用でき、様々な画像やグラフの分類タスクにおいて最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-01-13T11:18:18Z)
• Synthetic Hard Negative Samples for Contrastive Learning [8.776888865665024]
  本稿では,コントラスト学習のための新しい特徴レベル手法,すなわち合成硬質負のサンプルをサンプリングする手法を提案する。 負試料を混合し, アンカー試料と他の負試料とのコントラストを制御して, より硬い負試料を生成する。 提案手法は,画像データセットの分類性能を向上し,既存の手法に容易に組み込むことができる。
  論文  参考訳（メタデータ） (2023-04-06T09:54:35Z)
• An Investigation into Whitening Loss for Self-supervised Learning [62.157102463386394]
  自己教師型学習(SSL)における望ましい目的は、機能の崩壊を避けることである。 ホワイトニング損失分析のための情報指標を用いたフレームワークを提案する。 分析に基づき、ランダムグループ分割(CW-RGP)を用いたチャネル白化を提案する。
  論文  参考訳（メタデータ） (2022-10-07T14:43:29Z)
• Debiased Contrastive Learning of Unsupervised Sentence Representations [88.58117410398759]
  コントラスト学習は、事前訓練された言語モデル(PLM)を改善し、高品質な文表現を導き出すのに有効である。 以前の作業は、主にランダムにトレーニングデータからバッチ内陰性またはサンプルを採用する。 我々はこれらの不適切な負の影響を軽減するための新しいフレームワーク textbfDCLR を提案する。
  論文  参考訳（メタデータ） (2022-05-02T05:07:43Z)
• Chaos is a Ladder: A New Theoretical Understanding of Contrastive Learning via Augmentation Overlap [64.60460828425502]
  コントラスト学習の下流性能に関する新たな保証を提案する。 我々の新しい理論は、攻撃的なデータ強化の下で、異なるクラス内サンプルのサポートがより重なり合うという知見に基づいている。 本稿では、下流の精度とよく一致した教師なしモデル選択距離ARCを提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:36:26Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Whitening for Self-Supervised Representation Learning [129.57407186848917]
  本稿では,潜在空間の特徴の白化に基づく自己教師付き表現学習(SSL)のための新しい損失関数を提案する。 我々の解は非対称なネットワークを必要とせず、概念的には単純である。
  論文  参考訳（メタデータ） (2020-07-13T12:33:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。