論文の概要: InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings

• arxiv url: http://arxiv.org/abs/2210.06432v1
• Date: Sat, 8 Oct 2022 15:53:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-13 14:21:14.886204
• Title: InfoCSE: Information-aggregated Contrastive Learning of Sentence Embeddings
• Title（参考訳）: infocse:情報集約型文埋め込みのコントラスト学習
• Authors: Xing Wu, Chaochen Gao, Zijia Lin, Jizhong Han, Zhongyuan Wang, Songlin Hu
• Abstract要約: 本稿では,教師なし文の埋め込みを学習するための情報型コントラスト学習フレームワーク InfoCSE を提案する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果, InfoCSE は BERT ベースでは2.60%, BERT 大規模では1.77% でSimCSE より優れていた。
• 参考スコア（独自算出の注目度）: 61.77760317554826
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Contrastive learning has been extensively studied in sentence embedding learning, which assumes that the embeddings of different views of the same sentence are closer. The constraint brought by this assumption is weak, and a good sentence representation should also be able to reconstruct the original sentence fragments. Therefore, this paper proposes an information-aggregated contrastive learning framework for learning unsupervised sentence embeddings, termed InfoCSE. InfoCSE forces the representation of [CLS] positions to aggregate denser sentence information by introducing an additional Masked language model task and a well-designed network. We evaluate the proposed InfoCSE on several benchmark datasets w.r.t the semantic text similarity (STS) task. Experimental results show that InfoCSE outperforms SimCSE by an average Spearman correlation of 2.60% on BERT-base, and 1.77% on BERT-large, achieving state-of-the-art results among unsupervised sentence representation learning methods. Our code are available at https://github.com/caskcsg/sentemb/info
• Abstract（参考訳）: コントラスト学習は文の埋め込み学習において広く研究されており、同じ文の異なる視点の埋め込みが近いと仮定している。 この仮定によってもたらされる制約は弱く、優れた文表現は元の文の断片を再構築することもできます。 そこで本稿では,教師なし文埋め込み学習のための情報集約型コントラスト学習フレームワークinfocseを提案する。 InfoCSEは[CLS]位置の表現を強制的に強制し、Masked言語モデルタスクとよく設計されたネットワークを導入することで、より密集した文情報を集約する。 提案したInfoCSEを,セマンティックテキスト類似性(STS)タスクを用いて,いくつかのベンチマークデータセット上で評価する。 実験の結果、InfoCSEは、BERTベースで平均2.60%、BERT大規模で1.77%、SimCSEよりも優れており、教師なしの文表現学習法で最先端の結果が得られた。 私たちのコードはhttps://github.com/caskcsg/sentemb/infoで利用可能です。

関連論文リスト

• CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings [16.592691470405683]
  条件付き損失に基づく教師なしコントラスト学習フレームワークCMLM-CSEを提案する。 タスクを実行するために文埋め込みを統合するために補助ネットワークが追加され、さらにマスキングされた単語情報を学ぶために文埋め込みが強制される。 事前学習言語モデルとしてBertbaseを用いた場合,テキスト類似タスクでは平均0.55ポイント,テキスト類似タスクでは平均0.3ポイントを,Robertabaseが事前学習言語モデルではSimCSEを平均0.3ポイント上回った。
  論文  参考訳（メタデータ） (2023-06-16T02:39:45Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Contrastive Learning of Sentence Embeddings from Scratch [26.002876719243464]
  文の埋め込みを合成データで訓練するコントラスト学習フレームワークであるSynCSEを提案する。 具体的には、大規模な言語モデルを用いて、コントラスト学習に必要なデータサンプルを合成する。 SynCSE-partialとSynCSE-scratchの両方が教師なしベースラインを大幅に上回ることを示す。
  論文  参考訳（メタデータ） (2023-05-24T11:56:21Z)
• Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding [16.598732694215137]
  特徴空間における埋め込みの境界を円滑にするためのIS-CSEを提案する。 我々は,標準的な意味テキスト類似性(STS)タスクについて評価し,平均78.30%,79.47%,77.73%,79.42%のスピアマン相関を達成した。
  論文  参考訳（メタデータ） (2023-05-12T12:46:13Z)
• M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
  緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。 これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。 提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
  論文  参考訳（メタデータ） (2023-03-09T09:05:47Z)
• DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
  DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T17:32:01Z)
• ESimCSE: Enhanced Sample Building Method for Contrastive Learning of Unsupervised Sentence Embedding [41.09180639504244]
  現在最先端の教師なし手法は教師なしSimCSE(Unsup-SimCSE)である 拡張Unsup-SimCSE(ESimCSE)と呼ばれる新しい文埋め込み法を開発した。 ESimCSE は BERT-base 上でのスピアマン相関の平均2.02% で最先端の unsup-SimCSE を上回っている。
  論文  参考訳（メタデータ） (2021-09-09T16:07:31Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。