論文の概要: Smoothed Contrastive Learning for Unsupervised Sentence Embedding
- arxiv url: http://arxiv.org/abs/2109.04321v1
- Date: Thu, 9 Sep 2021 14:54:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:34:03.379262
- Title: Smoothed Contrastive Learning for Unsupervised Sentence Embedding
- Title（参考訳）: 教師なし文埋め込みのための平滑化コントラスト学習
- Authors: Xing Wu, Chaochen Gao, Liangjun Zang, Jizhong Han, Zhongyuan Wang,
Songlin Hu
- Abstract要約: 我々は、Gaussian Smoothing InfoNCE (GS-InfoNCE)と呼ばれるInfoNCE損失関数に基づく平滑化戦略を導入する。
GS-InfoNCEは、BERT-base、BERT-large、RoBERTa-base、RoBERTa-largeのベースで平均1.38%、0.72%、1.17%、0.28%のスピアマン相関によって、最先端のUnsup-SimCSEよりも優れている。
- 参考スコア（独自算出の注目度）: 41.09180639504244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Contrastive learning has been gradually applied to learn high-quality
unsupervised sentence embedding. Among the previous un-supervised methods, the
latest state-of-the-art method, as far as we know, is unsupervised SimCSE
(unsup-SimCSE). Unsup-SimCSE uses the InfoNCE1loss function in the training
stage by pulling semantically similar sentences together and pushing apart
dis-similar ones.Theoretically, we expect to use larger batches in unsup-SimCSE
to get more adequate comparisons among samples and avoid overfitting. However,
increasing the batch size does not always lead to improvements, but instead
even lead to performance degradation when the batch size exceeds a threshold.
Through statistical observation, we find that this is probably due to the
introduction of low-confidence negative pairs after in-creasing the batch size.
To alleviate this problem, we introduce a simple smoothing strategy upon the
InfoNCE loss function, termedGaussian Smoothing InfoNCE
(GS-InfoNCE).Specifically, we add random Gaussian noise vectors as negative
samples, which act asa smoothing of the negative sample space.Though being
simple, the proposed smooth-ing strategy brings substantial improvements to
unsup-SimCSE. We evaluate GS-InfoNCEon the standard semantic text similarity
(STS)task. GS-InfoNCE outperforms the state-of-the-art unsup-SimCSE by an
average Spear-man correlation of 1.38%, 0.72%, 1.17% and0.28% on the base of
BERT-base, BERT-large,RoBERTa-base and RoBERTa-large, respectively.
- Abstract（参考訳）: コントラスト学習は、高品質な教師なし文の埋め込み学習に徐々に応用されてきた。
従来の教師なし手法の中で、最新の最先端手法は、我々が知る限り、教師なしSimCSE(unsup-SimCSE)である。
Unsup-SimCSEは、意味論的に類似した文をまとめて非類似文を分割することで、トレーニング段階でInfoNCE1loss関数を使用する。
しかし、バッチサイズの増加は必ずしも改善につながるわけではなく、バッチサイズがしきい値を超えるとパフォーマンスが低下する。
統計観測により,これはバッチサイズを増大させた後の低信頼負対の導入によるものと考えられる。
この問題を軽減するために、我々は、Gaussian Smoothing InfoNCE (GS-InfoNCE)と呼ばれるInfoNCE損失関数に基づく単純な平滑化戦略を導入する。特に、負のサンプル空間の平滑化としてランダムなガウス雑音ベクトルを負のサンプルとして追加する。
GS-InfoNCEon を標準意味テキスト類似度 (STS) として評価する。
GS-InfoNCEは、それぞれBERT-base、BERT-large、RoBERTa-base、RoBERTa-largeのベースで平均1.38%、0.72%、1.17%、0.28%のスピアマン相関によって、最先端のUnsup-SimCSEよりも優れている。
関連論文リスト
- Instance Smoothed Contrastive Learning for Unsupervised Sentence
Embedding [16.598732694215137]
特徴空間における埋め込みの境界を円滑にするためのIS-CSEを提案する。
我々は,標準的な意味テキスト類似性(STS)タスクについて評価し,平均78.30%,79.47%,77.73%,79.42%のスピアマン相関を達成した。
論文 参考訳（メタデータ） (2023-05-12T12:46:13Z) - Doubly Stochastic Models: Learning with Unbiased Label Noises and
Inference Stability [85.1044381834036]
勾配降下のミニバッチサンプリング設定におけるラベル雑音の暗黙的正則化効果について検討した。
そのような暗黙的正則化器は、パラメータの摂動に対してモデル出力を安定化できる収束点を好んでいる。
我々の研究は、SGDをオルンシュタイン-ウレンベック類似の過程とはみなせず、近似の収束によってより一般的な結果を得る。
論文 参考訳（メタデータ） (2023-04-01T14:09:07Z) - Latent Class-Conditional Noise Model [54.56899309997246]
本稿では,ベイズ的枠組みの下での雑音遷移をパラメータ化するためのLatent Class-Conditional Noise Model (LCCN)を提案する。
次に、Gibs sampler を用いて遅延真のラベルを効率的に推測できる LCCN の動的ラベル回帰法を導出する。
提案手法は,サンプルのミニバッチから事前の任意チューニングを回避するため,ノイズ遷移の安定な更新を保護している。
論文 参考訳（メタデータ） (2023-02-19T15:24:37Z) - Understanding Collapse in Non-Contrastive Learning [122.2499276246997]
モデルがデータセットサイズに対して小さすぎる場合,SimSiam表現が部分次元崩壊することを示す。
本稿では,この崩壊の度合いを計測し,微調整やラベルを使わずに下流のタスク性能を予測できる指標を提案する。
論文 参考訳（メタデータ） (2022-09-29T17:59:55Z) - Improving Contrastive Learning of Sentence Embeddings with
Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。
文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。
負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
論文 参考訳（メタデータ） (2022-06-06T09:46:12Z) - Scale-Equivalent Distillation for Semi-Supervised Object Detection [57.59525453301374]
近年のSemi-Supervised Object Detection (SS-OD) 法は主に自己学習に基づいており、教師モデルにより、ラベルなしデータを監視信号としてハードな擬似ラベルを生成する。
実験結果から,これらの手法が直面する課題を分析した。
本稿では,大規模オブジェクトサイズの分散とクラス不均衡に頑健な簡易かつ効果的なエンド・ツー・エンド知識蒸留フレームワークであるSED(Scale-Equivalent Distillation)を提案する。
論文 参考訳（メタデータ） (2022-03-23T07:33:37Z) - S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence
Embedding [2.9894971434911266]
コントラスト学習は,文埋め込みの学習性能を向上させるために研究されている。
現在の最先端の手法はSimCSEであり、データ拡張法としてドロップアウトを取る。
S-SimCSEは、最先端のSimCSEをBERT$_base$で1%以上上回るパフォーマンス
論文 参考訳（メタデータ） (2021-11-23T09:52:45Z) - ESimCSE: Enhanced Sample Building Method for Contrastive Learning of
Unsupervised Sentence Embedding [41.09180639504244]
現在最先端の教師なし手法は教師なしSimCSE(Unsup-SimCSE)である
拡張Unsup-SimCSE(ESimCSE)と呼ばれる新しい文埋め込み法を開発した。
ESimCSE は BERT-base 上でのスピアマン相関の平均2.02% で最先端の unsup-SimCSE を上回っている。
論文 参考訳（メタデータ） (2021-09-09T16:07:31Z) - SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。
まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。
次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
論文 参考訳（メタデータ） (2021-04-18T11:27:08Z) - Least Squares Regression with Markovian Data: Fundamental Limits and
Algorithms [69.45237691598774]
マルコフ連鎖からデータポイントが依存しサンプリングされる最小二乗線形回帰問題について検討する。
この問題を$tau_mathsfmix$という観点から、鋭い情報理論のミニマックス下限を確立する。
本稿では,経験的リプレイに基づくアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-06-16T04:26:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。