論文の概要: Alleviating Over-smoothing for Unsupervised Sentence Representation
- arxiv url: http://arxiv.org/abs/2305.06154v1
- Date: Tue, 9 May 2023 11:00:02 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-11 12:51:33.106192
- Title: Alleviating Over-smoothing for Unsupervised Sentence Representation
- Title(参考訳): 教師なし文表現のためのオーバースムーシングの緩和
- Authors: Nuo Chen, Linjun Shou, Ming Gong, Jian Pei, Bowen Cao, Jianhui Chang,
Daxin Jiang, Jia Li
- Abstract要約: 本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。
提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
- 参考スコア(独自算出の注目度): 96.19497378628594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Currently, learning better unsupervised sentence representations is the
pursuit of many natural language processing communities. Lots of approaches
based on pre-trained language models (PLMs) and contrastive learning have
achieved promising results on this task. Experimentally, we observe that the
over-smoothing problem reduces the capacity of these powerful PLMs, leading to
sub-optimal sentence representations. In this paper, we present a Simple method
named Self-Contrastive Learning (SSCL) to alleviate this issue, which samples
negatives from PLMs intermediate layers, improving the quality of the sentence
representation. Our proposed method is quite simple and can be easily extended
to various state-of-the-art models for performance boosting, which can be seen
as a plug-and-play contrastive framework for learning unsupervised sentence
representation. Extensive results prove that SSCL brings the superior
performance improvements of different strong baselines (e.g., BERT and SimCSE)
on Semantic Textual Similarity and Transfer datasets. Our codes are available
at https://github.com/nuochenpku/SSCL.
- Abstract(参考訳): 現在、教師なしの文表現をより良く学ぶことは、多くの自然言語処理コミュニティの追求である。
プレトレーニング言語モデル(PLM)とコントラスト学習に基づく多くのアプローチがこの課題において有望な結果を得た。
実験により,過平滑化問題によってこれらの強力なPLMの容量が減少し,準最適文表現がもたらされることがわかった。
本稿では,plms中間層から負を抽出し,文表現の品質を向上させる,自己矛盾学習(self-contrastive learning:sscl)という簡単な手法を提案する。
提案手法は非常に単純であり、性能向上のための様々な最先端モデルに容易に拡張でき、教師なし文表現を学習するためのプラグアンドプレイのコントラストフレームワークと見なすことができる。
SSCLは、セマンティックテキスト類似性および転送データセット上で、異なる強いベースライン(例えばBERTとSimCSE)の優れたパフォーマンス向上をもたらすことを証明している。
私たちのコードはhttps://github.com/nuochenpku/ssclで利用可能です。
関連論文リスト
- BECLR: Batch Enhanced Contrastive Few-Shot Learning [1.450405446885067]
教師なしの少数ショット学習は、トレーニング時にアノテーションへの依存を捨てることで、このギャップを埋めようとしている。
本稿では,高度に分離可能な潜在表現空間を促進するために,新しい動的クラスタ mEmory (DyCE) モジュールを提案する。
そして、数ショットの推論段階でサンプルバイアスの問題に取り組みます。
論文 参考訳(メタデータ) (2024-02-04T10:52:43Z) - DenoSent: A Denoising Objective for Self-Supervised Sentence
Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。
離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。
我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文 参考訳(メタデータ) (2024-01-24T17:48:45Z) - Speak Like a Native: Prompting Large Language Models in a Native Style [53.84738665918496]
In-context Learning (ICL) with large language model (LLMs) は、多くの自然言語処理タスクにおいて近代的なツールとなっている。
本稿では, LLMの推論能力を向上させるために, textbfAlignedCoT という新しい効果的手法を提案する。
数学的質問答え、常識的推論、テキスト理解に関するいくつかのベンチマークにおいて、広範囲かつ包括的な実験を行う。
論文 参考訳(メタデータ) (2023-11-22T17:24:21Z) - Semantic-Aware Contrastive Sentence Representation Learning with Large
Language Models [64.348539675761]
本稿では,セマンティック・アウェア・コントラッシブな文表現フレームワークであるSemCSRを提案する。
大規模言語モデル(LLM)の生成と評価機能を利用することで,高品質なNLI型コーパスを自動構築する。
論文 参考訳(メタデータ) (2023-10-17T03:21:43Z) - Scaling Sentence Embeddings with Large Language Models [43.19994568210206]
本研究では,文埋め込み性能の向上を目的としたテキスト内学習手法を提案する。
提案手法では,従来のプロンプトに基づく表現手法を自己回帰モデルに適用する。
モデルサイズをスケールすることで、数千億以上のパラメータへのスケーリングが意味的なテキスト類似性タスクのパフォーマンスを損なうことが分かる。
論文 参考訳(メタデータ) (2023-07-31T13:26:03Z) - Prompting classes: Exploring the Power of Prompt Class Learning in
Weakly Supervised Semantic Segmentation [15.467510304266883]
本稿では,プロンプトチューニングが弱教師付きセマンティックセグメンテーションに与える影響について検討する。
PrOmpt cLass lEarning(POLE)戦略に基づく新しいアプローチを提案する。
我々は、よく知られたWSSSベンチマークにおいて、シンプルで効率的なアプローチがSOTA性能を達成することを実証する。
論文 参考訳(メタデータ) (2023-06-30T19:25:18Z) - Sentence Representation Learning with Generative Objective rather than
Contrastive Objective [86.01683892956144]
句再構成に基づく新たな自己教師型学習目標を提案する。
我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
論文 参考訳(メタデータ) (2022-10-16T07:47:46Z) - A Multi-level Supervised Contrastive Learning Framework for Low-Resource
Natural Language Inference [54.678516076366506]
自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。
本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
論文 参考訳(メタデータ) (2022-05-31T05:54:18Z) - Disentangled Contrastive Learning for Learning Robust Textual
Representations [13.880693856907037]
運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。
NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
論文 参考訳(メタデータ) (2021-04-11T03:32:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。