論文の概要: Sentence Embeddings using Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2106.04791v1
• Date: Wed, 9 Jun 2021 03:30:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-10 15:28:01.566577
• Title: Sentence Embeddings using Supervised Contrastive Learning
• Title（参考訳）: 教師付きコントラスト学習を用いた文埋め込み
• Authors: Danqi Liao
• Abstract要約: 教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence embeddings encode sentences in fixed dense vectors and have played an important role in various NLP tasks and systems. Methods for building sentence embeddings include unsupervised learning such as Quick-Thoughts and supervised learning such as InferSent. With the success of pretrained NLP models, recent research shows that fine-tuning pretrained BERT on SNLI and Multi-NLI data creates state-of-the-art sentence embeddings, outperforming previous sentence embeddings methods on various evaluation benchmarks. In this paper, we propose a new method to build sentence embeddings by doing supervised contrastive learning. Specifically our method fine-tunes pretrained BERT on SNLI data, incorporating both supervised crossentropy loss and supervised contrastive loss. Compared with baseline where fine-tuning is only done with supervised cross-entropy loss similar to current state-of-the-art method SBERT, our supervised contrastive method improves 2.8% in average on Semantic Textual Similarity (STS) benchmarks and 1.05% in average on various sentence transfer tasks.
• Abstract（参考訳）: 文を固定された高密度ベクトルにエンコードする文の埋め込みは、様々なNLPタスクやシステムにおいて重要な役割を果たしている。 文の埋め込みを構築する方法は、Quick-Thoughtsのような教師なし学習とInferSentのような教師なし学習を含む。 事前学習されたnlpモデルの成功により、snliおよびマルチnliデータ上で事前学習されたbertが最先端の文埋め込みを生成し、様々な評価ベンチマークで以前の文埋め込みメソッドよりも優れていることが最近の研究で示されている。 本稿では,教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 具体的には,SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。 SBERTと同様の教師付きクロスエントロピー損失でのみ微調整を行うベースラインと比較して,教師付きコントラスト法はセマンティックテキスト類似度(STS)ベンチマークで平均2.8%,各種文転送タスクで平均1.05%改善する。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• A Novel Plagiarism Detection Approach Combining BERT-based Word Embedding, Attention-based LSTMs and an Improved Differential Evolution Algorithm [11.142354615369273]
  本稿では,アテンション機構に基づく長短期メモリ(LSTM)とトランスフォーマー(BERT)ワード埋め込みによる双方向エンコーダ表現に基づくプラギアリズム検出手法を提案する。 BERTは下流タスクに含まれることができ、タスク固有の構造として微調整され、訓練されたBERTモデルは様々な言語特性を検出することができる。
  論文  参考訳（メタデータ） (2023-05-03T18:26:47Z)
• Differentiable Data Augmentation for Contrastive Sentence Representation Learning [6.398022050054328]
  提案手法は, 半教師付き設定と教師付き設定の両方において, 既存手法よりも大幅に改善されている。 また,低ラベルデータ設定による実験により,本手法は最先端のコントラスト学習法よりもラベル効率が高いことが示された。
  論文  参考訳（メタデータ） (2022-10-29T08:57:45Z)
• Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
  教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。 文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。 負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
  論文  参考訳（メタデータ） (2022-06-06T09:46:12Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Phrase-level Active Learning for Neural Machine Translation [107.28450614074002]
  ドメイン内データの翻訳に所定の予算を費やすことのできる,アクティブな学習環境を提案する。 我々は、人間の翻訳者へのルーティングのために、新しいドメインの未ラベルデータから全文と個々の句を選択する。 ドイツ語と英語の翻訳タスクでは,不確実性に基づく文選択法に対して,能動的学習手法が一貫した改善を実現している。
  論文  参考訳（メタデータ） (2021-06-21T19:20:42Z)
• Unsupervised Bitext Mining and Translation via Self-trained Contextual Embeddings [51.47607125262885]
  不整合テキストから機械翻訳(MT)のための擬似並列コーパスを作成するための教師なし手法について述べる。 我々は多言語BERTを用いて、最寄りの検索のためのソースとターゲット文の埋め込みを作成し、自己学習によりモデルを適応する。 BUCC 2017 bitextマイニングタスクで並列文ペアを抽出し,F1スコアの最大24.5ポイント増加(絶対)を従来の教師なし手法と比較して観察することで,本手法の有効性を検証した。
  論文  参考訳（メタデータ） (2020-10-15T14:04:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。