論文の概要: S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding

• arxiv url: http://arxiv.org/abs/2111.11750v2
• Date: Wed, 24 Nov 2021 09:20:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 12:51:47.579963
• Title: S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
• Title（参考訳）: S-SimCSE: 文埋め込みのコントラスト学習のためのサンプルサブネットワーク
• Authors: Junlei Zhang, Zhenzhong lan
• Abstract要約: コントラスト学習は,文埋め込みの学習性能を向上させるために研究されている。 現在の最先端の手法はSimCSEであり、データ拡張法としてドロップアウトを取る。 S-SimCSEは、最先端のSimCSEをBERT$_base$で1%以上上回るパフォーマンス
• 参考スコア（独自算出の注目度）: 2.9894971434911266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has been studied for improving the performance of learning sentence embeddings. The current state-of-the-art method is the SimCSE, which takes dropout as the data augmentation method and feeds a pre-trained transformer encoder the same input sentence twice. The corresponding outputs, two sentence embeddings derived from the same sentence with different dropout masks, can be used to build a positive pair. A network being applied with a dropout mask can be regarded as a sub-network of itsef, whose expected scale is determined by the dropout rate. In this paper, we push sub-networks with different expected scales learn similar embedding for the same sentence. SimCSE failed to do so because they fixed the dropout rate to a tuned hyperparameter. We achieve this by sampling dropout rate from a distribution eatch forward process. As this method may make optimization harder, we also propose a simple sentence-wise mask strategy to sample more sub-networks. We evaluated the proposed S-SimCSE on several popular semantic text similarity datasets. Experimental results show that S-SimCSE outperforms the state-of-the-art SimCSE more than $1\%$ on BERT$_{base}$
• Abstract（参考訳）: コントラスト学習は文埋め込みの学習性能を向上させるために研究されている。 現在の最先端の方法はSimCSEであり、データ拡張法としてドロップアウトを取り、トレーニング済みのトランスフォーマーエンコーダを2回同じ入力文で供給する。 対応する出力は、異なるドロップアウトマスクを持つ同じ文から導出される2つの文埋め込みであり、正のペアを構築するために使用できる。 ドロップアウトマスクで適用されるネットワークは、期待スケールがドロップアウトレートによって決定されるitefのサブネットワークと見なすことができる。 本稿では,異なるスケールのサブネットワークをプッシュすることで,同じ文に対する類似の埋め込みを学習する。 SimCSEは、調整されたハイパーパラメータにドロップアウトレートを固定したため、失敗した。 分布イーチフォワードプロセスからドロップアウトレートをサンプリングすることでこれを達成する。 この手法により最適化が困難になる可能性があるため,より多くのサブネットワークをサンプリングするための簡単な文回りマスク戦略も提案する。 提案したS-SimCSEをいくつかの一般的なセマンティックテキスト類似性データセットで評価した。 実験の結果、S-SimCSEはBERT$_{base}$で1\%以上のSimCSEよりも優れていた。

関連論文リスト

• Simulation-free Schr\"odinger bridges via score and flow matching [89.4231207928885]
  シミュレーションフリースコアとフローマッチング([SF]$2$M)を提案する。 本手法は,拡散モデルのトレーニングに使用するスコアマッチング損失と,連続流のトレーニングに使用されるフローマッチング損失の両方を一般化する。 特に、[SF]$2$Mは、高次元の細胞動態を正確にモデル化し、既知の遺伝子制御ネットワークをシミュレートする最初の方法である。
  論文  参考訳（メタデータ） (2023-07-07T15:42:35Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
  教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。 文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。 負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
  論文  参考訳（メタデータ） (2022-06-06T09:46:12Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding [41.09180639504244]
  現在最先端の教師なし手法は教師なしSimCSE(Unsup-SimCSE)である 拡張Unsup-SimCSE(ESimCSE)と呼ばれる新しい文埋め込み法を開発した。 ESimCSE は BERT-base 上でのスピアマン相関の平均2.02% で最先端の unsup-SimCSE を上回っている。
  論文  参考訳（メタデータ） (2021-09-09T16:07:31Z)
• Smoothed Contrastive Learning for Unsupervised Sentence Embedding [41.09180639504244]
  我々は、Gaussian Smoothing InfoNCE (GS-InfoNCE)と呼ばれるInfoNCE損失関数に基づく平滑化戦略を導入する。 GS-InfoNCEは、BERT-base、BERT-large、RoBERTa-base、RoBERTa-largeのベースで平均1.38%、0.72%、1.17%、0.28%のスピアマン相関によって、最先端のUnsup-SimCSEよりも優れている。
  論文  参考訳（メタデータ） (2021-09-09T14:54:24Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。