論文の概要: DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2204.10298v1
• Date: Thu, 21 Apr 2022 17:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-22 13:23:15.087438
• Title: DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings
• Title（参考訳）: diffcse: 差異に基づく文埋め込みのコントラスト学習
• Authors: Yung-Sung Chuang, Rumen Dangovski, Hongyin Luo, Yang Zhang, Shiyu Chang, Marin Solja\v{c}i\'c, Shang-Wen Li, Wen-tau Yih, Yoon Kim, James Glass
• Abstract要約: DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
• 参考スコア（独自算出の注目度）: 51.274478128525686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose DiffCSE, an unsupervised contrastive learning framework for learning sentence embeddings. DiffCSE learns sentence embeddings that are sensitive to the difference between the original sentence and an edited sentence, where the edited sentence is obtained by stochastically masking out the original sentence and then sampling from a masked language model. We show that DiffSCE is an instance of equivariant contrastive learning (Dangovski et al., 2021), which generalizes contrastive learning and learns representations that are insensitive to certain types of augmentations and sensitive to other "harmful" types of augmentations. Our experiments show that DiffCSE achieves state-of-the-art results among unsupervised sentence representation learning methods, outperforming unsupervised SimCSE by 2.3 absolute points on semantic textual similarity tasks.
• Abstract（参考訳）: 文埋め込み学習のための教師なしコントラスト学習フレームワークであるDiffCSEを提案する。 DiffCSEは、原文と編集文との差に敏感な文埋め込みを学習し、原文を確率的にマスキングし、その後、仮面言語モデルからサンプリングすることにより、編集文を得る。 diffsce は同変コントラスト学習 (dangovski et al., 2021) の例であり, コントラスト学習を一般化し, ある種の増補に非感受性で他の「調和」タイプの増補に敏感な表現を学ぶ。 DiffCSEは、教師なし文表現学習法において、意味的テキスト類似性タスクにおける2.3の絶対点において、教師なしのSimCSEよりも優れていることを示す。

関連論文リスト

• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• Understanding Contrastive Learning Requires Incorporating Inductive Biases [64.56006519908213]
  下流タスクにおけるコントラスト学習の成功を理論的に説明しようとする最近の試みは、エム強化の特性とエムコントラスト学習の損失の値によって保証が証明されている。 このような分析は,関数クラスやトレーニングアルゴリズムの帰納的バイアスを無視し,いくつかの設定において不確実な保証につながることを実証する。
  論文  参考訳（メタデータ） (2022-02-28T18:59:20Z)
• Pair-Level Supervised Contrastive Learning for Natural Language Inference [11.858875850000457]
  Pair-level Supervised Contrastive Learning approach (PairSCL)を提案する。 対照的な学習目的は、1つのクラスでそれらをまとめて、他のクラスでペアを分割することで、文対の様々なクラスを区別するように設計されている。 NLIの2つの公開データセット上でPairSCLの評価を行い、PairSCLの精度は平均2.1%向上した。
  論文  参考訳（メタデータ） (2022-01-26T13:34:52Z)
• SNCSE: Contrastive Learning for Unsupervised Sentence Embedding with Soft Negative Samples [36.08601841321196]
  ソフトな負のサンプルを埋め込んだ教師なし文のコントラスト学習を提案する。 SNCSEは意味的テキスト類似性タスクにおいて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2022-01-16T06:15:43Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)
• ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding [41.09180639504244]
  現在最先端の教師なし手法は教師なしSimCSE(Unsup-SimCSE)である 拡張Unsup-SimCSE(ESimCSE)と呼ばれる新しい文埋め込み法を開発した。 ESimCSE は BERT-base 上でのスピアマン相関の平均2.02% で最先端の unsup-SimCSE を上回っている。
  論文  参考訳（メタデータ） (2021-09-09T16:07:31Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Skeletal Feature Compensation for Imitation Learning with Embodiment Mismatch [51.03498820458658]
  SILEMは,学習者や専門家から得られた骨格的特徴の違いを補う模倣学習手法である。 我々は、PyBulletのHalfCheetahとAntに基づいておもちゃのドメインを作成し、SILEMのこの種のエンボディメントミスマッチに対する利点を評価する。 また、より現実的な問題について定性的かつ定量的な結果を提供します。人間のデモンストレーションを観察して歩くために、シミュレーションされたヒューマノイドエージェントを教えます。
  論文  参考訳（メタデータ） (2021-04-15T22:50:48Z)
• CLEAR: Contrastive Learning for Sentence Representation [41.867438597420346]
  複数の文レベルの拡張戦略を採用した文表現用コントラストLEArning(CLEAR)を提案する。 これらの増分には単語とスパンの削除、再順序付け、置換が含まれる。 私たちのアプローチは、SentEvalとGLUEベンチマークの両方で複数の既存のメソッドを上回ることが示されています。
  論文  参考訳（メタデータ） (2020-12-31T06:40:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。