Fugu-MT 論文翻訳(概要): Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient

論文の概要: Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient

arxiv url: http://arxiv.org/abs/2402.18281v1
Date: Wed, 28 Feb 2024 12:17:40 GMT
ステータス: 処理完了
システム内更新日: 2024-02-29 15:05:29.048258
Title: Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient
Title（参考訳）: コントラスト文表現学習のより良い理解に向けて--グラディエントのための統一パラダイム
Authors: Mingxin Li, Richong Zhang, Zhijie Nie
Abstract要約: 文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。ここでは、対照的なSSLは、SRLにおいて非コントラストSSLを著しく上回っていることを示す。 4つの効果的な対照的な損失を統一パラダイムに統合できることが示され、これは3つのコンポーネント(グラディエント散逸、重み、比)に依存している。
参考スコア（独自算出の注目度）: 22.90287198986578
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Sentence Representation Learning (SRL) is a crucial task in Natural Language Processing (NLP), where contrastive Self-Supervised Learning (SSL) is currently a mainstream approach. However, the reasons behind its remarkable effectiveness remain unclear. Specifically, in other research fields, contrastive SSL shares similarities in both theory and practical performance with non-contrastive SSL (e.g., alignment & uniformity, Barlow Twins, and VICReg). However, in SRL, contrastive SSL outperforms non-contrastive SSL significantly. Therefore, two questions arise: First, what commonalities enable various contrastive losses to achieve superior performance in SRL? Second, how can we make non-contrastive SSL, which is similar to contrastive SSL but ineffective in SRL, effective? To address these questions, we start from the perspective of gradients and discover that four effective contrastive losses can be integrated into a unified paradigm, which depends on three components: the Gradient Dissipation, the Weight, and the Ratio. Then, we conduct an in-depth analysis of the roles these components play in optimization and experimentally demonstrate their significance for model performance. Finally, by adjusting these components, we enable non-contrastive SSL to achieve outstanding performance in SRL.
Abstract（参考訳）: 文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。しかし、その顕著な効果の背景は明らかでない。特に、他の研究分野では、対照的なSSLは非対照的なSSL(例えば、アライメントと均一性、Barlow Twins、VICReg)と理論と実践的なパフォーマンスの両方において類似点を共有している。しかし、SRLでは、対照的なSSLは非コントラストSSLを大きく上回っている。まず、共通性はSRLの優れた性能を達成するために、様々な対照的な損失をもたらすのか? 第二に、対照的なSSLと似ているがSRLでは効果がない非競合SSLをどうやって作るのか? これらの問題に対処するため、グラデーションの観点から開始し、4つの効果的なコントラスト損失を、勾配散逸、重量、比率の3つの要素に依存する統一パラダイムに統合することができることを発見した。次に、これらのコンポーネントが最適化において果たす役割を詳細に分析し、モデル性能におけるその意義を実験的に実証する。最後に、これらのコンポーネントを調整することで、非競合SSLがSRLの優れた性能を達成することができる。

関連論文リスト

On the Discriminability of Self-Supervised Representation Learning [38.598160031349686]
自己教師付き学習(SSL)は、最近、下流の視覚タスクで大きな成功を収めた。特に複雑な下流タスクにおいて、SSLと教師あり学習(SL)の間には、注目すべきギャップがまだ残っている。
論文参考訳（メタデータ） (2024-07-18T14:18:03Z)
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
論文参考訳（メタデータ） (2024-06-08T02:52:43Z)
Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations [0.0]
正のペアと負のペアをさらに分離するために,SimCLR と MoCo SSL メソッドにおける加算マージン (AM) の重要性を論じる。 SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
論文参考訳（メタデータ） (2024-04-23T10:56:58Z)
The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文参考訳（メタデータ） (2024-03-25T19:07:32Z)
Learning Common Rationale to Improve Self-Supervised Representation for Fine-Grained Visual Recognition Problems [61.11799513362704]
我々は、インスタンスやクラスでよく見られる差別的手がかりを識別するための、追加のスクリーニングメカニズムの学習を提案する。 SSL目標から誘導されるGradCAMを単純に利用することで、共通な有理性検出器が学習可能であることを示す。
論文参考訳（メタデータ） (2023-03-03T02:07:40Z)
Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-22T06:30:44Z)
On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文参考訳（メタデータ） (2022-07-22T03:49:50Z)
SleepPriorCL: Contrastive Representation Learning with Prior Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging [9.102084407643199]
意味論的に類似した(肯定的)と異種(否定的)のサンプルの対比に基づく自己教師付き学習(SSL)は、有望な成功を収めた。既存のSSLメソッドは、多くの意味論的に類似した正がまだ発見されておらず、ネガティブとして扱われる問題に悩まされている。本稿では,SleepPriorCLという新しいSSLアプローチを提案する。
論文参考訳（メタデータ） (2021-10-15T06:54:29Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文参考訳（メタデータ） (2021-01-18T10:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。