論文の概要: Pairwise Supervised Contrastive Learning of Sentence Representations

• arxiv url: http://arxiv.org/abs/2109.05424v1
• Date: Sun, 12 Sep 2021 04:12:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-14 16:05:43.875676
• Title: Pairwise Supervised Contrastive Learning of Sentence Representations
• Title（参考訳）: ペアワイズによる文表現のコントラスト学習
• Authors: Dejiao Zhang, Shang-Wen Li, Wei Xiao, Henghui Zhu, Ramesh Nallapati, Andrew O. Arnold, Bing Xiang
• Abstract要約: PairSupConは、セマンティックエンターメントと矛盾理解を高レベルのカテゴリ概念エンコーディングにブリッジすることを目的としている。 異なる粒度の文意味論の理解に関わる様々な下流タスクで評価する。
• 参考スコア（独自算出の注目度）: 20.822509446824125
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many recent successes in sentence representation learning have been achieved by simply fine-tuning on the Natural Language Inference (NLI) datasets with triplet loss or siamese loss. Nevertheless, they share a common weakness: sentences in a contradiction pair are not necessarily from different semantic categories. Therefore, optimizing the semantic entailment and contradiction reasoning objective alone is inadequate to capture the high-level semantic structure. The drawback is compounded by the fact that the vanilla siamese or triplet losses only learn from individual sentence pairs or triplets, which often suffer from bad local optima. In this paper, we propose PairSupCon, an instance discrimination based approach aiming to bridge semantic entailment and contradiction understanding with high-level categorical concept encoding. We evaluate PairSupCon on various downstream tasks that involve understanding sentence semantics at different granularities. We outperform the previous state-of-the-art method with $10\%$--$13\%$ averaged improvement on eight clustering tasks, and $5\%$--$6\%$ averaged improvement on seven semantic textual similarity (STS) tasks.
• Abstract（参考訳）: 近年の文表現学習における多くの成功は、三重項損失やシアム損失を伴う自然言語推論(NLI)データセットの微調整によって達成されている。 それにもかかわらず、それらは共通の弱点を共有している: 矛盾する対の文は必ずしも異なる意味圏からのものではない。 したがって、意味的帰結と矛盾の推論の目的のみを最適化することは、高レベルの意味構造を捉えるには不十分である。 欠点は、バニラ・サイムズや三重項の損失が個々の文対や三重項からしか学ばないという事実によって、しばしば悪い局所的最適性に悩まされる。 本稿では,意味的包含と矛盾理解を高レベルな分類概念エンコーディングに橋渡しすることを目的とした,インスタンス識別に基づくPairSupConを提案する。 PairSupConは、異なる粒度の文意味論の理解を含む様々な下流タスクで評価する。 従来の最先端手法では,8つのクラスタリングタスクの平均値改善が10\%--13\%,7つのセマンティックテキスト類似性(STS)タスクの平均値改善が5\%--6\%であった。

関連論文リスト

• GroupContrast: Semantic-aware Self-supervised Representation Learning for 3D Understanding [66.5538429726564]
  自己教師付き3D表現学習は、大規模未ラベルの点群から効果的な表現を学習することを目的としている。 本稿では,セグメンテーションとセマンティック・アウェア・コントラッシブ・ラーニングを組み合わせた新しいアプローチであるGroupContrastを提案する。
  論文  参考訳（メタデータ） (2024-03-14T17:59:59Z)
• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
  コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。 また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
  論文  参考訳（メタデータ） (2023-07-20T15:02:42Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Pair-Level Supervised Contrastive Learning for Natural Language Inference [11.858875850000457]
  Pair-level Supervised Contrastive Learning approach (PairSCL)を提案する。 対照的な学習目的は、1つのクラスでそれらをまとめて、他のクラスでペアを分割することで、文対の様々なクラスを区別するように設計されている。 NLIの2つの公開データセット上でPairSCLの評価を行い、PairSCLの精度は平均2.1%向上した。
  論文  参考訳（メタデータ） (2022-01-26T13:34:52Z)
• SimCSE: Simple Contrastive Learning of Sentence Embeddings [10.33373737281907]
  本稿では,埋め込み学習フレームワークであるSimCSEについて述べる。 まず、教師なしのアプローチを記述し、入力文を取り、それ自身を対照目的に予測する。 次に,nliデータセットからの注釈付きペアを「補足」ペアを正として,「矛盾」ペアをハード負として対比学習に組み込む。
  論文  参考訳（メタデータ） (2021-04-18T11:27:08Z)
• Reevaluating Adversarial Examples in Natural Language [20.14869834829091]
  我々は2つの最先端の同義語代用攻撃の出力を分析した。 それらの摂動はしばしば意味論を保存せず、38%が文法的誤りを導入している。 セマンティクスと文法性を改善するために制約が調整されたことにより、攻撃の成功率は70パーセント以上低下する。
  論文  参考訳（メタデータ） (2020-04-25T03:09:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。