論文の概要: HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives

• arxiv url: http://arxiv.org/abs/2411.12156v1
• Date: Tue, 19 Nov 2024 01:26:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-20 13:38:14.950174
• Title: HNCSE: Advancing Sentence Embeddings via Hybrid Contrastive Learning with Hard Negatives
• Title（参考訳）: HNCSE: ハードネガティブを用いたハイブリッドコントラスト学習による文埋め込みの促進
• Authors: Wenxiao Liu, Zihong Yang, Chaozhuo Li, Zijin Hong, Jianfeng Ma, Zhiquan Liu, Litian Zhang, Feiran Huang,
• Abstract要約: HNCSEは、主要なSimCSEアプローチを拡張する、新しい対照的な学習フレームワークである。 HNCSEの目玉は、正と負の両方のサンプルの学習を強化するために、ハードネガティブサンプルの革新的な利用である。
• 参考スコア（独自算出の注目度）: 17.654412302780557
• License:
• Abstract: Unsupervised sentence representation learning remains a critical challenge in modern natural language processing (NLP) research. Recently, contrastive learning techniques have achieved significant success in addressing this issue by effectively capturing textual semantics. Many such approaches prioritize the optimization using negative samples. In fields such as computer vision, hard negative samples (samples that are close to the decision boundary and thus more difficult to distinguish) have been shown to enhance representation learning. However, adapting hard negatives to contrastive sentence learning is complex due to the intricate syntactic and semantic details of text. To address this problem, we propose HNCSE, a novel contrastive learning framework that extends the leading SimCSE approach. The hallmark of HNCSE is its innovative use of hard negative samples to enhance the learning of both positive and negative samples, thereby achieving a deeper semantic understanding. Empirical tests on semantic textual similarity and transfer task datasets validate the superiority of HNCSE.
• Abstract（参考訳）: 非教師なしの文表現学習は、現代自然言語処理(NLP)研究において依然として重要な課題である。 近年,テキストのセマンティクスを効果的に捉えることで,この問題に対処する上で,コントラスト学習技術は大きな成功を収めている。 このようなアプローチの多くは、負のサンプルを使って最適化を優先する。 コンピュータビジョンなどの分野において、強陰性サンプル(決定境界に近いため、区別が難しいサンプル)は表現学習を強化することが示されている。 しかし、テキストの複雑な構文と意味的な詳細のため、対照的な文章学習にハードネガティブを適用することは複雑である。 この問題に対処するために,従来のSimCSEアプローチを拡張した新しいコントラスト学習フレームワークであるHNCSEを提案する。 HNCSEの目玉は、正と負の両方のサンプルの学習を強化し、より深い意味理解を実現するために、ハードネガティブサンプルを革新的に利用することである。 意味的テキスト類似性および伝達タスクデータセットに関する実証テストは、HNCSEの優位性を検証する。

関連論文リスト

• DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
  本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。 離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。 我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
  論文  参考訳（メタデータ） (2024-01-24T17:48:45Z)
• Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
  本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。 提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
  論文  参考訳（メタデータ） (2023-10-10T18:15:24Z)
• Active Learning Principles for In-Context Learning with Large Language Models [65.09970281795769]
  本稿では,アクティブ・ラーニング・アルゴリズムが,文脈内学習における効果的な実演選択手法としてどのように機能するかを検討する。 ALによる文脈内サンプル選択は,不確実性の低い高品質な事例を優先し,試験例と類似性を有することを示す。
  論文  参考訳（メタデータ） (2023-05-23T17:16:04Z)
• Alleviating Over-smoothing for Unsupervised Sentence Representation [96.19497378628594]
  本稿では,この問題を緩和するために,SSCL(Self-Contrastive Learning)というシンプルな手法を提案する。 提案手法は非常に単純で,様々な最先端モデルに拡張して,性能向上を図ることができる。
  論文  参考訳（メタデータ） (2023-05-09T11:00:02Z)
• Improving Contrastive Learning of Sentence Embeddings from AI Feedback [43.56070504980024]
  教師付きコントラスト学習は、人間のフィードバックラベルとより正確なサンプルペアを生成することができる。 提案手法は,大規模な事前学習言語モデルからのAIフィードバックを利用して,詳細なサンプル類似度スコアを持つサンプルペアを構築する。 実験結果から,本手法はいくつかの意味的テキスト類似性タスクにおいて,最先端の性能を実現することが示された。
  論文  参考訳（メタデータ） (2023-05-03T06:26:13Z)
• A Simple Contrastive Learning Objective for Alleviating Neural Text Degeneration [56.64703901898937]
  本稿では,クロスエントロピーと異種訓練の利点を継承する,新しい対照的なトークン学習目標を提案する。 言語モデリングとオープンドメイン対話生成タスクに関する総合的な実験は、提案したコントラストトークンの目的がより繰り返しの少ないテキストを生成することを示す。
  論文  参考訳（メタデータ） (2022-05-05T08:50:50Z)
• Simple Contrastive Representation Adversarial Learning for NLP Tasks [17.12062566060011]
  教師付きコントラスト対逆学習(SCAL)と教師なしSCAL(USCAL)の2つの新しいフレームワークを提案する。 本稿では,自然言語理解,文意味的テキスト類似性,対人学習タスクのためのTransformerベースのモデルに適用する。 GLUEベンチマークタスクの実験結果から,細調整された教師付き手法はBERT$_base$1.75%以上の性能を示した。
  論文  参考訳（メタデータ） (2021-11-26T03:16:09Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
  本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。 対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。 提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
  論文  参考訳（メタデータ） (2021-06-07T15:29:14Z)
• Disentangled Contrastive Learning for Learning Robust Textual Representations [13.880693856907037]
  運動量表現一貫性の概念を導入し,特徴を整合させ,一様性に適合しながらパワー正規化を活用する。 NLPベンチマークの実験結果から,本手法はベースラインよりも優れた結果が得られることが示された。
  論文  参考訳（メタデータ） (2021-04-11T03:32:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。