論文の概要: ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer

• arxiv url: http://arxiv.org/abs/2105.11741v1
• Date: Tue, 25 May 2021 08:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-27 00:15:33.786947
• Title: ConSERT: A Contrastive Framework for Self-Supervised Sentence Representation Transfer
• Title（参考訳）: ConSERT: 自己監督型文表現変換のためのコントラストフレームワーク
• Authors: Yuanmeng Yan, Rumei Li, Sirui Wang, Fuzheng Zhang, Wei Wu and Weiran Xu
• Abstract要約: 本稿では,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを利用することで、ConSERTはBERT由来の文表現の崩壊問題を解消する。 STSデータセットの実験では、ConSERTは以前の最先端よりも8%の相対的な改善を達成している。
• 参考スコア（独自算出の注目度）: 19.643512923368743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning high-quality sentence representations benefits a wide range of natural language processing tasks. Though BERT-based pre-trained language models achieve high performance on many downstream tasks, the native derived sentence representations are proved to be collapsed and thus produce a poor performance on the semantic textual similarity (STS) tasks. In this paper, we present ConSERT, a Contrastive Framework for Self-Supervised Sentence Representation Transfer, that adopts contrastive learning to fine-tune BERT in an unsupervised and effective way. By making use of unlabeled texts, ConSERT solves the collapse issue of BERT-derived sentence representations and make them more applicable for downstream tasks. Experiments on STS datasets demonstrate that ConSERT achieves an 8\% relative improvement over the previous state-of-the-art, even comparable to the supervised SBERT-NLI. And when further incorporating NLI supervision, we achieve new state-of-the-art performance on STS tasks. Moreover, ConSERT obtains comparable results with only 1000 samples available, showing its robustness in data scarcity scenarios.
• Abstract（参考訳）: 高品質な文表現の学習は、幅広い自然言語処理タスクの恩恵を受ける。 BERTベースの事前学習言語モデルは、多くの下流タスクにおいて高い性能を達成するが、ネイティブな派生文表現は崩壊することが証明され、セマンティックテキスト類似性(STS)タスクでは性能が劣る。 本稿では,教師なしかつ効果的にBERTを微調整するコントラスト学習を取り入れた,自己監督型文表現伝達のためのコントラストフレームワークであるConSERTを提案する。 ラベルのないテキストを使用することで、ConSERTはBERT由来の文表現の崩壊問題を解消し、下流タスクにもっと適用できるようにする。 STSデータセットの実験では、ConSERTが以前の最先端よりも8倍の相対的な改善を実現している。 また,さらにNLIの監督を取り入れることで,STSタスクにおける最先端の新たなパフォーマンスを実現する。 さらに、ConSERTは、データ不足のシナリオにおける堅牢性を示す1000のサンプルで、同等の結果を得る。

関連論文リスト

• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• PromptBERT: Improving BERT Sentence Embeddings with Prompts [95.45347849834765]
  本稿では,トークン埋め込みのバイアスを低減し,元のBERT層をより効果的にするためのプロンプトベースの文埋め込み手法を提案する。 また,教師なし設定と教師なし設定とのパフォーマンスギャップを大幅に短縮するテンプレート認知技術により,教師なし学習の新たな目標を提案する。 我々の微調整手法は教師なし設定と教師なし設定の両方において最先端のSimCSEよりも優れている。
  論文  参考訳（メタデータ） (2022-01-12T06:54:21Z)
• Evaluation of BERT and ALBERT Sentence Embedding Performance on Downstream NLP Tasks [4.955649816620742]
  本稿では,BERT と ALBERT の文埋め込みモデルについて検討する。 我々は、Sentence-BERT (SBERT) と呼ばれるシアムとトリプルトネットワーク構造を持つBERTネットワークを改良し、BERTをALBERTに置き換え、Sentence-ALBERT (SALBERT) を作成する。
  論文  参考訳（メタデータ） (2021-01-26T09:14:06Z)
• To BERT or Not to BERT: Comparing Task-specific and Task-agnostic Semi-Supervised Approaches for Sequence Tagging [46.62643525729018]
  クロスビュートレーニング(CVT)とタスクに依存しないBERTをドメインやタスクに関連する英語データを含む複数の設定で比較する。 本研究では,一連のタグ付けタスクにおいてBERTと同じような性能を達成し,経済的・環境的影響を低減できることを示す。
  論文  参考訳（メタデータ） (2020-10-27T04:03:47Z)
• An Unsupervised Sentence Embedding Method by Mutual Information Maximization [34.947950543830686]
  SBERT(Sentence BERT)はクラスタリングやセマンティックサーチのような文対タスクでは非効率である。 本稿では,BERT上での軽量な拡張と,新たな自己教師型学習目標を提案する。 我々の方法は、異なるドメイン固有のコーパスに適用できるようなラベル付きデータの可用性に制限されない。
  論文  参考訳（メタデータ） (2020-09-25T07:16:51Z)
• Exploring Cross-sentence Contexts for Named Entity Recognition with BERT [1.4998865865537996]
  本稿では, BERT モデルを用いた NER におけるクロス文情報の利用を5言語で検討する。 BERT入力に追加文の形でコンテキストを追加することで、テスト対象言語やモデル上でのNER性能が向上することがわかった。 そこで本稿では,文の様々な予測を組み合わせ,さらにNER性能を向上させるための簡単な手法であるCMV(Contextual Majority Voting)を提案する。
  論文  参考訳（メタデータ） (2020-06-02T12:34:52Z)
• CERT: Contrastive Self-supervised Learning for Language Understanding [20.17416958052909]
  本稿では,トランスフォーマーからのコントラスト型自己教師型表現(CERT)を提案する。 CERTは、文レベルでのコントラッシブな自己教師型学習を用いて、言語表現モデルを事前訓練する。 そこでは,CERT が BERT を 7 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回り,BERT が 2 タスクで上回る性能である GLUE ベンチマークを用いて,CERT を 11 個の自然言語理解タスクで評価した。
  論文  参考訳（メタデータ） (2020-05-16T16:20:38Z)
• Fast and Accurate Deep Bidirectional Language Representations for Unsupervised Learning [31.897630023454067]
  我々はTransformer-based Text Autoencoder (T-TA) と呼ばれる新しい双方向言語モデルを提案する。 T-TAは、反復せずに文脈言語表現を計算し、BERTのような深い双方向アーキテクチャの利点がある。 CPU環境でのランタイム実験では、提案したT-TAは、リランクタスクにおいてBERTベースのモデルよりも6倍高速で、セマンティック類似タスクでは12倍高速である。
  論文  参考訳（メタデータ） (2020-04-17T07:43:38Z)
• Improving BERT Fine-Tuning via Self-Ensemble and Self-Distillation [84.64004917951547]
  BERTのような微調整済みの言語モデルは、NLPにおいて効果的な方法となっている。 本稿では, BERTの微細調整を, 自己組織化と自己蒸留の2つの効果的なメカニズムで改善する。
  論文  参考訳（メタデータ） (2020-02-24T16:17:12Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。