論文の概要: Identical and Fraternal Twins: Fine-Grained Semantic Contrastive
Learning of Sentence Representations
- arxiv url: http://arxiv.org/abs/2307.10932v1
- Date: Thu, 20 Jul 2023 15:02:42 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-21 12:29:55.168348
- Title: Identical and Fraternal Twins: Fine-Grained Semantic Contrastive
Learning of Sentence Representations
- Title（参考訳）: 分節的双生児:文表現の微粒な意味的コントラスト学習
- Authors: Qingfa Xiao, Shuangyin Li, Lei Chen
- Abstract要約: コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。
また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
- 参考スコア（独自算出の注目度）: 7.723911514848181
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The enhancement of unsupervised learning of sentence representations has been
significantly achieved by the utility of contrastive learning. This approach
clusters the augmented positive instance with the anchor instance to create a
desired embedding space. However, relying solely on the contrastive objective
can result in sub-optimal outcomes due to its inability to differentiate subtle
semantic variations between positive pairs. Specifically, common data
augmentation techniques frequently introduce semantic distortion, leading to a
semantic margin between the positive pair. While the InfoNCE loss function
overlooks the semantic margin and prioritizes similarity maximization between
positive pairs during training, leading to the insensitive semantic
comprehension ability of the trained model. In this paper, we introduce a novel
Identical and Fraternal Twins of Contrastive Learning (named IFTCL) framework,
capable of simultaneously adapting to various positive pairs generated by
different augmentation techniques. We propose a \textit{Twins Loss} to preserve
the innate margin during training and promote the potential of data enhancement
in order to overcome the sub-optimal issue. We also present proof-of-concept
experiments combined with the contrastive objective to prove the validity of
the proposed Twins Loss. Furthermore, we propose a hippocampus queue mechanism
to restore and reuse the negative instances without additional calculation,
which further enhances the efficiency and performance of the IFCL. We verify
the IFCL framework on nine semantic textual similarity tasks with both English
and Chinese datasets, and the experimental results show that IFCL outperforms
state-of-the-art methods.
- Abstract（参考訳）: 文表現の教師なし学習の強化は、コントラスト学習の有用性によって著しく達成されている。
このアプローチは、拡張正のインスタンスをアンカーインスタンスとクラスタリングして、望ましい埋め込みスペースを作成する。
しかし、対照的な目的のみに依存することは、正のペア間で微妙な意味のバリエーションを区別できないため、最適以下の結果をもたらす可能性がある。
特に、一般的なデータ拡張技術は、しばしば意味的歪みをもたらし、正のペア間の意味的マージンをもたらす。
情報損失関数は意味的マージンを見落とし、トレーニング中の正のペア間の類似度最大化を優先するが、トレーニングされたモデルの無意識な意味的理解能力に繋がる。
本稿では,異なる拡張手法によって生成される様々な正の対に同時に適応できる,新しいIdentical and Fraternal Twins of Contrastive Learning (IFTCL)フレームワークを提案する。
そこで本研究では,学習中に生来のマージンを保ち,データエンハンスメントの可能性を促進し,下位最適化問題を克服する \textit{twins loss} を提案する。
また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
さらに,新たな計算を行わずに負のインスタンスを復元・再利用するための海馬待ち行列機構を提案し,IFCLの効率と性能をさらに向上させる。
英語と中国語のデータセットで9つの意味的テキスト類似性タスクをifclフレームワークで検証し,ifclが最先端の手法よりも優れていることを示す。
関連論文リスト
- Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。
これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。
実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
論文 参考訳（メタデータ） (2024-06-08T02:52:43Z) - KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。
我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
論文 参考訳（メタデータ） (2024-03-26T08:32:39Z) - Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳（メタデータ） (2024-01-10T04:55:24Z) - Synergistic Anchored Contrastive Pre-training for Few-Shot Relation
Extraction [4.7220779071424985]
Few-shot Relation extract (FSRE) は、ラベル付きコーパスのスパースセットから事実を抽出することを目的としている。
近年の研究では、事前学習言語モデルを用いたFSREの有望な結果が示されている。
本稿では,新しい相乗的アンカー付きコントラスト事前学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-19T10:16:24Z) - Improving Unsupervised Relation Extraction by Augmenting Diverse
Sentence Pairs [15.87963432758696]
非文関係抽出(URE)は、原文から名前付きエンティティ間の関係を抽出することを目的としている。
我々は,文内ペアの増補と,文間ペアの抽出による拡張を併用したAugUREを提案する。
NYT-FBとTACREDデータセットの実験は、提案した関係表現学習と単純なK-Meansクラスタリングが最先端のパフォーマンスを達成することを示した。
論文 参考訳（メタデータ） (2023-12-01T12:59:32Z) - REBAR: Retrieval-Based Reconstruction for Time-series Contrastive Learning [64.08293076551601]
正の対を識別する学習尺度を新たに提案する。
検索ベースレコンストラクションは2つのシーケンス間の類似度を測定する。
本稿では,REBAR誤差が相互クラスメンバシップの予測因子であることを示す。
論文 参考訳（メタデータ） (2023-11-01T13:44:45Z) - Contrastive Bayesian Analysis for Deep Metric Learning [30.21464199249958]
特徴的類似性によって条件付けられた画像ラベルの後方確率を特徴付け,モデル化するために,コントラッシブなベイズ解析を開発した。
この対照的なベイズ解析は、深い計量学習のための新しい損失関数をもたらす。
実験結果とアブレーション実験により,提案手法は深層学習の性能を著しく向上させることが示された。
論文 参考訳（メタデータ） (2022-10-10T02:24:21Z) - Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。
具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
論文 参考訳（メタデータ） (2022-05-23T17:38:30Z) - Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。
これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。
そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
論文 参考訳（メタデータ） (2021-09-24T07:20:13Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳（メタデータ） (2021-06-07T15:29:14Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳（メタデータ） (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。