論文の概要: Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations
- arxiv url: http://arxiv.org/abs/2404.14913v1
- Date: Tue, 23 Apr 2024 10:56:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-24 14:31:13.188776
- Title: Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations
- Title(参考訳): 識別的話者表現学習のための対照的自己監督型フレームワークにおける付加的マージン
- Authors: Theo Lepage, Reda Dehak,
- Abstract要約: 正のペアと負のペアをさらに分離するために,SimCLR と MoCo SSL メソッドにおける加算マージン (AM) の重要性を論じる。
SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Self-Supervised Learning (SSL) frameworks became the standard for learning robust class representations by benefiting from large unlabeled datasets. For Speaker Verification (SV), most SSL systems rely on contrastive-based loss functions. We explore different ways to improve the performance of these techniques by revisiting the NT-Xent contrastive loss. Our main contribution is the definition of the NT-Xent-AM loss and the study of the importance of Additive Margin (AM) in SimCLR and MoCo SSL methods to further separate positive from negative pairs. Despite class collisions, we show that AM enhances the compactness of same-speaker embeddings and reduces the number of false negatives and false positives on SV. Additionally, we demonstrate the effectiveness of the symmetric contrastive loss, which provides more supervision for the SSL task. Implementing these two modifications to SimCLR improves performance and results in 7.85% EER on VoxCeleb1-O, outperforming other equivalent methods.
- Abstract(参考訳): SSL(Self-Supervised Learning)フレームワークは、大規模なラベルなしデータセットを活用することで、堅牢なクラス表現を学習するための標準となった。
話者検証(SV)では、ほとんどのSSLシステムは対照的な損失関数に依存している。
NT-Xentのコントラスト損失を再考することにより,これらの手法の性能向上を図る。
我々の主な貢献はNT-Xent-AM損失の定義とSimCLRおよびMoCo SSL法における加算マージン(AM)の重要性の研究である。
クラス衝突にもかかわらず、AMは同一話者埋め込みのコンパクト性を高め、SV上の偽陰性や偽陽性の数を減らすことを示す。
さらに、SSLタスクのより詳細な監視を提供する対称的コントラスト損失の有効性を実証する。
SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
関連論文リスト
- Towards Better Understanding of Contrastive Sentence Representation
Learning: A Unified Paradigm for Gradient [22.90287198986578]
文表現学習(SRL)は自然言語処理(NLP)において重要な課題であり、対照的な自己監督学習(SSL)は現在主流のアプローチである。
ここでは、対照的なSSLは、SRLにおいて非コントラストSSLを著しく上回っていることを示す。
4つの効果的な対照的な損失を統一パラダイムに統合できることが示され、これは3つのコンポーネント(グラディエント散逸、重み、比)に依存している。
論文 参考訳(メタデータ) (2024-02-28T12:17:40Z) - Relaxed Contrastive Learning for Federated Learning [53.48804883845343]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。
当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文 参考訳(メタデータ) (2024-01-10T04:55:24Z) - Sparse Contrastive Learning of Sentence Embeddings [10.251604958122506]
SimCSEは、訓練文埋め込みにおけるコントラスト学習の可能性を示した。
従来の研究では、密度の高いモデルには、モデルの性能に影響を与える有害なパラメータが含まれていることが示されている。
文埋め込みの全体的な品質に対する各パラメータの寄与を測定するために,アライメントと均一度スコアを用いるパラメータスペーシフィケーションを提案する。
論文 参考訳(メタデータ) (2023-11-07T10:54:45Z) - Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。
提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
論文 参考訳(メタデータ) (2023-10-10T18:15:24Z) - Identical and Fraternal Twins: Fine-Grained Semantic Contrastive
Learning of Sentence Representations [6.265789210037749]
コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。
また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
論文 参考訳(メタデータ) (2023-07-20T15:02:42Z) - Decoupled Adversarial Contrastive Learning for Self-supervised
Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。
Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文 参考訳(メタデータ) (2022-07-22T06:30:44Z) - On Higher Adversarial Susceptibility of Contrastive Self-Supervised
Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。
2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。
我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。
CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文 参考訳(メタデータ) (2022-07-22T03:49:50Z) - Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。
非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。
実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
論文 参考訳(メタデータ) (2022-07-18T04:14:36Z) - Enhancing Multi-view Stereo with Contrastive Matching and Weighted Focal
Loss [10.847120224170698]
コントラスト学習と特徴マッチングに触発された既存ネットワークの性能向上のための新しい手法を提案する。
提案手法は,ベースラインネットワーク上での最先端性能と大幅な改善を実現する。
論文 参考訳(メタデータ) (2022-06-21T13:10:14Z) - ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。
本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。
提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文 参考訳(メタデータ) (2021-07-20T06:53:07Z) - Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。
対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。
提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文 参考訳(メタデータ) (2021-06-07T15:29:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。