論文の概要: Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE

• arxiv url: http://arxiv.org/abs/2310.06918v2
• Date: Fri, 20 Oct 2023 19:39:40 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 06:39:01.578941
• Title: Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE
• Title（参考訳）: フォカルインフォメーションを用いた文埋め込みのコントラスト学習の改善
• Authors: Pengyue Hou, Xingyu Li
• Abstract要約: 本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
• 参考スコア（独自算出の注目度）: 13.494159547236425
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The recent success of SimCSE has greatly advanced state-of-the-art sentence representations. However, the original formulation of SimCSE does not fully exploit the potential of hard negative samples in contrastive learning. This study introduces an unsupervised contrastive learning framework that combines SimCSE with hard negative mining, aiming to enhance the quality of sentence embeddings. The proposed focal-InfoNCE function introduces self-paced modulation terms in the contrastive objective, downweighting the loss associated with easy negatives and encouraging the model focusing on hard negatives. Experimentation on various STS benchmarks shows that our method improves sentence embeddings in terms of Spearman's correlation and representation alignment and uniformity.
• Abstract（参考訳）: 最近のSimCSEの成功により、最先端の文表現が大幅に進歩した。 しかし、SimCSEの当初の定式化は、対照的な学習におけるハードネガティブサンプルの可能性を完全に活用していない。 本研究は,文埋め込みの品質向上を目的とした,simcseとハードネガティブマイニングを組み合わせた教師なしコントラスト学習フレームワークを提案する。 提案するfocal-infonce関数は、対照的な目的に自己ペース変調項を導入し、簡単な負の損失を軽減し、ハード負に焦点をあてたモデルを奨励する。 様々なSTSベンチマーク実験により,スピアマンの相関関係と表現のアライメント,一様性の観点から文埋め込みの改善が示された。

関連論文リスト

• HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives [17.654412302780557]
  HNCSEは、主要なSimCSEアプローチを拡張する、新しい対照的な学習フレームワークである。 HNCSEの目玉は、正と負の両方のサンプルの学習を強化するために、ハードネガティブサンプルの革新的な利用である。
  論文  参考訳（メタデータ） (2024-11-19T01:26:20Z)
• KDMCSE: Knowledge Distillation Multimodal Sentence Embeddings with Adaptive Angular margin Contrastive Learning [31.139620652818838]
  マルチモーダル表現の識別と一般化性を高める新しい手法であるKDMCSEを提案する。 我々はまた、角空間内のマージンを強化することにより差別的表現を強化する新しいコントラスト的目的であるAdapACSEを導入する。
  論文  参考訳（メタデータ） (2024-03-26T08:32:39Z)
• Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
  本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。 当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
  論文  参考訳（メタデータ） (2024-01-10T04:55:24Z)
• Sparse Contrastive Learning of Sentence Embeddings [10.251604958122506]
  SimCSEは、訓練文埋め込みにおけるコントラスト学習の可能性を示した。 従来の研究では、密度の高いモデルには、モデルの性能に影響を与える有害なパラメータが含まれていることが示されている。 文埋め込みの全体的な品質に対する各パラメータの寄与を測定するために,アライメントと均一度スコアを用いるパラメータスペーシフィケーションを提案する。
  論文  参考訳（メタデータ） (2023-11-07T10:54:45Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• Regularizing with Pseudo-Negatives for Continual Self-Supervised Learning [62.40718385934608]
  効果的な継続型自己教師型学習(CSSL)のためのPNR(Pseudo-Negative Regularization)フレームワークを提案する。 我々のPNRは,新たに学習した表現が過去の学習と矛盾しないように,モデルに基づく拡張によって得られた擬陰性情報を活用する。
  論文  参考訳（メタデータ） (2023-06-08T10:59:35Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Improving Contrastive Learning of Sentence Embeddings with Case-Augmented Positives and Retrieved Negatives [17.90820242798732]
  教師なしのコントラスト学習手法は、教師付き学習方法よりもはるかに遅れている。 文中のランダムに選択された単語の最初の文字のケースを反転させるスイッチケース拡張を提案する。 負のサンプルについては、事前学習された言語モデルに基づいてデータセット全体からハードネガティブをサンプリングする。
  論文  参考訳（メタデータ） (2022-06-06T09:46:12Z)
• DiffCSE: Difference-based Contrastive Learning for Sentence Embeddings [51.274478128525686]
  DiffCSEは、文の埋め込みを学習するための教師なしのコントラスト学習フレームワークである。 実験の結果,教師なし文表現学習法では,DiffCSEは最先端の結果が得られることがわかった。
  論文  参考訳（メタデータ） (2022-04-21T17:32:01Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Unleashing the Power of Contrastive Self-Supervised Visual Models via Contrast-Regularized Fine-Tuning [94.35586521144117]
  コントラスト学習を微調整に適用することでさらにメリットが得られるか検討する。 本研究では,コントラスト正規化調律(core-tuning)を提案する。
  論文  参考訳（メタデータ） (2021-02-12T16:31:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。