論文の概要: Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient

• arxiv url: http://arxiv.org/abs/2402.18281v2
• Date: Wed, 5 Jun 2024 14:07:50 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-07 01:01:43.407841
• Title: Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient
• Title（参考訳）: コントラスト文表現学習のより良い理解に向けて--グラディエントのための統一パラダイム
• Authors: Mingxin Li, Richong Zhang, Zhijie Nie,
• Abstract要約: 文表現学習(SRL)は自然言語処理(NLP)において重要な課題である コントラスト型と非コントラスト型自己監督型学習(SSL)の類似性について多くの研究がなされている。 しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを著しく上回っている。
• 参考スコア（独自算出の注目度）: 20.37803751979975
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sentence Representation Learning (SRL) is a crucial task in Natural Language Processing (NLP), where contrastive Self-Supervised Learning (SSL) is currently a mainstream approach. However, the reasons behind its remarkable effectiveness remain unclear. Specifically, many studies have investigated the similarities between contrastive and non-contrastive SSL from a theoretical perspective. Such similarities can be verified in classification tasks, where the two approaches achieve comparable performance. But in ranking tasks (i.e., Semantic Textual Similarity (STS) in SRL), contrastive SSL significantly outperforms non-contrastive SSL. Therefore, two questions arise: First, *what commonalities enable various contrastive losses to achieve superior performance in STS?* Second, *how can we make non-contrastive SSL also effective in STS?* To address these questions, we start from the perspective of gradients and discover that four effective contrastive losses can be integrated into a unified paradigm, which depends on three components: the **Gradient Dissipation**, the **Weight**, and the **Ratio**. Then, we conduct an in-depth analysis of the roles these components play in optimization and experimentally demonstrate their significance for model performance. Finally, by adjusting these components, we enable non-contrastive SSL to achieve outstanding performance in STS.
• Abstract（参考訳）: 文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。 しかし、その顕著な効果の背景にある理由は不明である。 具体的には、対照的なSSLと非対照的なSSLの類似性を理論的観点から研究している。 このような類似性は、2つのアプローチが同等のパフォーマンスを達成するように分類タスクで検証することができる。 しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを大きく上回っている。 まず、共通点は、STSで優れたパフォーマンスを達成するために、さまざまな対照的な損失を許容しますか? ※第二に、STSで非コントラストSSLも有効にできるか? ** Gradient Dissipation**、**Weight*、**Ratio**の3つのコンポーネントに依存します。 次に、これらのコンポーネントが最適化において果たす役割を詳細に分析し、モデル性能におけるそれらの意義を実験的に示す。 最後に、これらのコンポーネントを調整することで、STSにおいて非コントラストSSLが優れたパフォーマンスを達成することができる。

関連論文リスト

• On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
  自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。 特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
  論文  参考訳（メタデータ） (2024-07-18T14:18:03Z)
• Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
  本稿では、革新的な回帰フレームワークを提案し、2つの単純かつ効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。 本手法は,7つのSTSベンチマーク,特にタスク固有のトレーニングデータを補足した場合に,説得力のある性能を実現する。
  論文  参考訳（メタデータ） (2024-06-08T02:52:43Z)
• Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations [0.0]
  正のペアと負のペアをさらに分離するために,SimCLR と MoCo SSL メソッドにおける加算マージン (AM) の重要性を論じる。 SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
  論文  参考訳（メタデータ） (2024-04-23T10:56:58Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
  我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-03T02:07:40Z)
• Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
  頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-07-22T06:30:44Z)
• On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
  コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。 我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
  論文  参考訳（メタデータ） (2022-07-22T03:49:50Z)
• SleepPriorCL: Contrastive Representation Learning with Prior Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging [9.102084407643199]
  意味論的に類似した(肯定的)と異種(否定的)のサンプルの対比に基づく自己教師付き学習(SSL)は、有望な成功を収めた。 既存のSSLメソッドは、多くの意味論的に類似した正がまだ発見されておらず、ネガティブとして扱われる問題に悩まされている。 本稿では,SleepPriorCLという新しいSSLアプローチを提案する。
  論文  参考訳（メタデータ） (2021-10-15T06:54:29Z)
• ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
  自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。 本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。 提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
  論文  参考訳（メタデータ） (2021-07-20T06:53:07Z)
• On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
  最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。 これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
  論文  参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。