論文の概要: S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding

• arxiv url: http://arxiv.org/abs/2111.11750v1
• Date: Tue, 23 Nov 2021 09:52:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-25 00:20:01.268544
• Title: S-SimCSE: Sampled Sub-networks for Contrastive Learning of Sentence Embedding
• Title（参考訳）: S-SimCSE: 文埋め込みのコントラスト学習のためのサンプルサブネットワーク
• Authors: Junlei Zhang, Zhenzhong lan
• Abstract要約: コントラスト学習は文埋め込み学習の性能を向上させるために研究されている。 現在の最先端の手法はSimCSEであり、データ拡張手法としてドロップアウトを取る。 S-SimCSEは、最先端のSimCSEをBERTベースで1%以上上回っている。
• 参考スコア（独自算出の注目度）: 2.9894971434911266
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has been studied for improving the performance of sentence embedding learning. The current state-of-the-art method is the SimCSE, which takes dropout as a data augmentation method and feeds a pre-trained Transformer encoder the same input sentence twice. Then, two sentence embeddings derived from different dropout masks can get to build a positive pair. A network being applied a dropout mask can be regarded as a sub-network of itself, whose expected scale is determined by the dropout rate. In this paper, we push most sub-networks with different expected scales can learn similar embedding for the same sentence. SimCSE failed to do so because they fixed the dropout rate to a tuned value, while we sampled dropout rates for each of the dropout functions. As this method will increase the difficulties of optimization, we also propose a simple sentence-wise masks strategy to sample more sub-networks. We evaluated the proposed S-SimCSE on several popular semantic text similarity datasets. Experimental results show that S-SimCSE outperforms the state-of-the-art SimCSE more than $1\%$ on BERT-base.
• Abstract（参考訳）: コントラスト学習は文埋め込み学習の性能を向上させるために研究されている。 現在の最先端の手法はSimCSEであり、データ拡張方法としてドロップアウトを取り、トレーニング済みのTransformerエンコーダに2回同じ入力文を送付する。 そして、異なるドロップアウトマスクから派生した2つの文埋め込みは、ポジティブなペアを構築することができる。 ドロップアウトマスクを適用しているネットワークは、期待スケールがドロップアウトレートによって決定される自己のサブネットワークと見なすことができる。 本稿では,ほとんどのサブネットワークを異なるスケールでプッシュすることで,同じ文に対して同様の埋め込みを学習する。 simcseは、ドロップアウト関数ごとにドロップアウトレートをサンプリングしたのに対して、ドロップアウトレートをチューニングされた値に固定したため、そうしなかった。 本手法は最適化の困難さを増大させるため,より多くのサブネットワークをサンプリングするための単純な文回りマスク戦略も提案する。 提案したS-SimCSEをいくつかの一般的なセマンティックテキスト類似性データセットで評価した。 実験の結果,S-SimCSEはBERTベースで1\%以上のSimCSEよりも優れていた。

関連論文リスト

• Simulation-free Schr\"odinger bridges via score and flow matching [89.4231207928885]
  シミュレーションフリースコアとフローマッチング([SF]$2$M)を提案する。 本手法は,拡散モデルのトレーニングに使用するスコアマッチング損失と,連続流のトレーニングに使用されるフローマッチング損失の両方を一般化する。 特に、[SF]$2$Mは、高次元の細胞動態を正確にモデル化し、既知の遺伝子制御ネットワークをシミュレートする最初の方法である。
  論文  参考訳（メタデータ） (2023-07-07T15:42:35Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings [61.77760317554826]
  本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
  論文  参考訳（メタデータ） (2022-10-08T15:53:19Z)
• Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
  教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。 文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。 負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
  論文  参考訳（メタデータ） (2022-06-06T09:46:12Z)
• Dual Lottery Ticket Hypothesis [71.95937879869334]
  Lottery Ticket hypothesis (LTH)は、スパースネットワークトレーニングを調査し、その能力を維持するための新しい視点を提供する。 本稿では,LTHの当選チケットをトレーニング可能なサブネットワークとして,その性能をベンチマークとして検討する。 本稿では,簡単なスパースネットワークトレーニング戦略であるランダムスパースネットワークトランスフォーメーション(RST)を提案し,DLTHを裏付ける。
  論文  参考訳（メタデータ） (2022-03-08T18:06:26Z)
• ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding [41.09180639504244]
  現在最先端の教師なし手法は教師なしSimCSE(Unsup-SimCSE)である 拡張Unsup-SimCSE(ESimCSE)と呼ばれる新しい文埋め込み法を開発した。 ESimCSE は BERT-base 上でのスピアマン相関の平均2.02% で最先端の unsup-SimCSE を上回っている。
  論文  参考訳（メタデータ） (2021-09-09T16:07:31Z)
• Smoothed Contrastive Learning for Unsupervised Sentence Embedding [41.09180639504244]
  我々は、Gaussian Smoothing InfoNCE (GS-InfoNCE)と呼ばれるInfoNCE損失関数に基づく平滑化戦略を導入する。 GS-InfoNCEは、BERT-base、BERT-large、RoBERTa-base、RoBERTa-largeのベースで平均1.38%、0.72%、1.17%、0.28%のスピアマン相関によって、最先端のUnsup-SimCSEよりも優れている。
  論文  参考訳（メタデータ） (2021-09-09T14:54:24Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)
• ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators [108.3381301768299]
  Masked Language Modeling (MLM) は、BERT のような事前学習手法で、いくつかのトークンを [MASK] に置き換えて、元のトークンを再構築するためにモデルをトレーニングすることで入力を破損させた。 代用トークン検出という,より効率的な事前学習タスクを提案する。
  論文  参考訳（メタデータ） (2020-03-23T21:17:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。