論文の概要: Self-Guided Contrastive Learning for BERT Sentence Representations

• arxiv url: http://arxiv.org/abs/2106.07345v1
• Date: Thu, 3 Jun 2021 05:52:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-20 16:08:44.462938
• Title: Self-Guided Contrastive Learning for BERT Sentence Representations
• Title（参考訳）: BERT文表現のための自己指導型コントラスト学習
• Authors: Taeuk Kim, Kang Min Yoo, Sang-goo Lee
• Abstract要約: 本稿では,BERT文表現の品質向上に自己指導を利用したコントラスト学習手法を提案する。 提案手法は,BERTを自己教師型で微調整し,データ拡張に頼らず,通常の[]トークン埋め込みを文ベクトルとして機能させる。
• 参考スコア（独自算出の注目度）: 19.205754738851546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although BERT and its variants have reshaped the NLP landscape, it still remains unclear how best to derive sentence embeddings from such pre-trained Transformers. In this work, we propose a contrastive learning method that utilizes self-guidance for improving the quality of BERT sentence representations. Our method fine-tunes BERT in a self-supervised fashion, does not rely on data augmentation, and enables the usual [CLS] token embeddings to function as sentence vectors. Moreover, we redesign the contrastive learning objective (NT-Xent) and apply it to sentence representation learning. We demonstrate with extensive experiments that our approach is more effective than competitive baselines on diverse sentence-related tasks. We also show it is efficient at inference and robust to domain shifts.
• Abstract（参考訳）: BERTとその変種は、NLPのランドスケープを再形成しているが、そのような事前訓練されたトランスフォーマーから文の埋め込みをいかにして導き出すかは、まだ不明である。 本研究では,BERT 文表現の品質向上に自己指導を利用したコントラスト学習手法を提案する。 提案手法は,BERTを自己教師型で微調整し,データ拡張に頼らず,通常の[CLS]トークン埋め込みを文ベクトルとして機能させる。 さらに、コントラスト学習目標(NT-Xent)を再設計し、文表現学習に適用する。 提案手法は,多様な文関連タスクにおける競合ベースラインよりも有効であることを示す。 また、推論が効率的で、ドメインシフトに堅牢であることも示しています。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Improving Contrastive Learning of Sentence Embeddings from AI Feedback [43.56070504980024]
  教師付きコントラスト学習は、人間のフィードバックラベルとより正確なサンプルペアを生成することができる。 提案手法は,大規模な事前学習言語モデルからのAIフィードバックを利用して,詳細なサンプル類似度スコアを持つサンプルペアを構築する。 実験結果から,本手法はいくつかの意味的テキスト類似性タスクにおいて,最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-03T06:26:13Z)
• Generative or Contrastive? Phrase Reconstruction for Better Sentence Representation Learning [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分強力な文表現をもたらし、コントラスト学習と同等の文文類似性タスクで性能を達成することができる。
  論文  参考訳（メタデータ） (2022-04-20T10:00:46Z)
• A Sentence is Worth 128 Pseudo Tokens: A Semantic-Aware Contrastive Learning Framework for Sentence Embeddings [28.046786376565123]
  Pseudo-Token BERT (PT-BERT) と呼ばれる文埋め込みのための意味認識型コントラスト学習フレームワークを提案する。 文長や構文などの表面的特徴の影響を排除しつつ、文の擬似トーケン空間(潜在意味空間)表現を利用する。 我々のモデルは6つの標準的な意味的テキスト類似性(STS)タスクにおける最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2022-03-11T12:29:22Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Sentence Embeddings using Supervised Contrastive Learning [0.0]
  教師付きコントラスト学習によって文埋め込みを構築する新しい手法を提案する。 SNLIデータ上のBERTを微調整し,教師付きクロスエントロピー損失と教師付きコントラスト損失を併用した。
  論文  参考訳（メタデータ） (2021-06-09T03:30:29Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。