論文の概要: Towards Better Understanding of Contrastive Sentence Representation
Learning: A Unified Paradigm for Gradient
- arxiv url: http://arxiv.org/abs/2402.18281v1
- Date: Wed, 28 Feb 2024 12:17:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 15:05:29.048258
- Title: Towards Better Understanding of Contrastive Sentence Representation
Learning: A Unified Paradigm for Gradient
- Title(参考訳): コントラスト文表現学習のより良い理解に向けて--グラディエントのための統一パラダイム
- Authors: Mingxin Li, Richong Zhang, Zhijie Nie
- Abstract要約: 文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。
ここでは、対照的なSSLは、SRLにおいて非コントラストSSLを著しく上回っていることを示す。
4つの効果的な対照的な損失を統一パラダイムに統合できることが示され、これは3つのコンポーネント(グラディエント散逸、重み、比)に依存している。
- 参考スコア(独自算出の注目度): 22.90287198986578
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Sentence Representation Learning (SRL) is a crucial task in Natural Language
Processing (NLP), where contrastive Self-Supervised Learning (SSL) is currently
a mainstream approach. However, the reasons behind its remarkable effectiveness
remain unclear. Specifically, in other research fields, contrastive SSL shares
similarities in both theory and practical performance with non-contrastive SSL
(e.g., alignment & uniformity, Barlow Twins, and VICReg). However, in SRL,
contrastive SSL outperforms non-contrastive SSL significantly. Therefore, two
questions arise: First, what commonalities enable various contrastive losses to
achieve superior performance in SRL? Second, how can we make non-contrastive
SSL, which is similar to contrastive SSL but ineffective in SRL, effective? To
address these questions, we start from the perspective of gradients and
discover that four effective contrastive losses can be integrated into a
unified paradigm, which depends on three components: the Gradient Dissipation,
the Weight, and the Ratio. Then, we conduct an in-depth analysis of the roles
these components play in optimization and experimentally demonstrate their
significance for model performance. Finally, by adjusting these components, we
enable non-contrastive SSL to achieve outstanding performance in SRL.
- Abstract(参考訳): 文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。
しかし、その顕著な効果の背景は明らかでない。
特に、他の研究分野では、対照的なSSLは非対照的なSSL(例えば、アライメントと均一性、Barlow Twins、VICReg)と理論と実践的なパフォーマンスの両方において類似点を共有している。
しかし、SRLでは、対照的なSSLは非コントラストSSLを大きく上回っている。
まず、共通性はSRLの優れた性能を達成するために、様々な対照的な損失をもたらすのか?
第二に、対照的なSSLと似ているがSRLでは効果がない非競合SSLをどうやって作るのか?
これらの問題に対処するため、グラデーションの観点から開始し、4つの効果的なコントラスト損失を、勾配散逸、重量、比率の3つの要素に依存する統一パラダイムに統合することができることを発見した。
次に、これらのコンポーネントが最適化において果たす役割を詳細に分析し、モデル性能におけるその意義を実験的に実証する。
最後に、これらのコンポーネントを調整することで、非競合SSLがSRLの優れた性能を達成することができる。
関連論文リスト
- Reinforcement Learning-Guided Semi-Supervised Learning [20.599506122857328]
本稿では,SSLを片腕バンディット問題として定式化する新しい強化学習ガイド型SSL手法 RLGSSL を提案する。
RLGSSLは、ラベル付きデータとラベルなしデータのバランスを保ち、一般化性能を向上させるために、慎重に設計された報酬関数を組み込んでいる。
我々は,複数のベンチマークデータセットに対する広範な実験を通じてRCGSSLの有効性を実証し,我々の手法が最先端のSSL手法と比較して一貫した優れた性能を実現することを示す。
論文 参考訳(メタデータ) (2024-05-02T21:52:24Z) - Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations [0.0]
正のペアと負のペアをさらに分離するために,SimCLR と MoCo SSL メソッドにおける加算マージン (AM) の重要性を論じる。
SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
論文 参考訳(メタデータ) (2024-04-23T10:56:58Z) - Improving Self-Supervised Learning by Characterizing Idealized
Representations [155.1457170539049]
与えられたデータ拡張に不変なタスクに対して必要かつ十分な条件を証明します。
対照的に、我々のフレームワークは、従来の手法に対して単純だが重要な改善を規定している。
非コントラスト学習では、私たちのフレームワークを使って、シンプルで斬新な目的を導き出します。
論文 参考訳(メタデータ) (2022-09-13T18:01:03Z) - Contrastive UCB: Provably Efficient Contrastive Self-Supervised Learning in Online Reinforcement Learning [92.18524491615548]
対照的な自己指導型学習は、(深層)強化学習(RL)の実践にうまく統合されている
我々は,低ランク遷移を伴うマルコフ決定過程(MDP)とマルコフゲーム(MG)のクラスにおいて,コントラスト学習によってRLをどのように強化できるかを検討する。
オンライン環境下では,MDPやMGのオンラインRLアルゴリズムと対照的な損失を生かした,新しい高信頼境界(UCB)型アルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-07-29T17:29:08Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳(メタデータ) (2022-07-22T03:49:50Z) - Does Self-supervised Learning Really Improve Reinforcement Learning from
Pixels? [42.404871049605084]
SSLとRLの損失を共同で最適化するコントラスト強化学習フレームワーク(例:CURL)を拡張します。
我々の観察では、既存のRLのSSLフレームワークは、ベースラインよりも有意義な改善をもたらしていないことを示唆している。
実際のロボット環境を含む複数の異なる環境におけるアプローチの評価を行った。
論文 参考訳(メタデータ) (2022-06-10T17:59:30Z) - Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of
Semi-Supervised Learning and Active Learning [60.26659373318915]
アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。
本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。
2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
論文 参考訳(メタデータ) (2022-06-07T13:28:43Z) - SleepPriorCL: Contrastive Representation Learning with Prior
Knowledge-based Positive Mining and Adaptive Temperature for Sleep Staging [9.102084407643199]
意味論的に類似した(肯定的)と異種(否定的)のサンプルの対比に基づく自己教師付き学習(SSL)は、有望な成功を収めた。
既存のSSLメソッドは、多くの意味論的に類似した正がまだ発見されておらず、ネガティブとして扱われる問題に悩まされている。
本稿では,SleepPriorCLという新しいSSLアプローチを提案する。
論文 参考訳(メタデータ) (2021-10-15T06:54:29Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。