Fugu-MT 論文翻訳(概要): Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations

論文の概要: Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations

arxiv url: http://arxiv.org/abs/2404.14913v1
Date: Tue, 23 Apr 2024 10:56:58 GMT
ステータス: 処理完了
システム内更新日: 2024-04-24 14:31:13.188776
Title: Additive Margin in Contrastive Self-Supervised Frameworks to Learn Discriminative Speaker Representations
Title（参考訳）: 識別的話者表現学習のための対照的自己監督型フレームワークにおける付加的マージン
Authors: Theo Lepage, Reda Dehak,
Abstract要約: 正のペアと負のペアをさらに分離するために,SimCLR と MoCo SSL メソッドにおける加算マージン (AM) の重要性を論じる。 SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Self-Supervised Learning (SSL) frameworks became the standard for learning robust class representations by benefiting from large unlabeled datasets. For Speaker Verification (SV), most SSL systems rely on contrastive-based loss functions. We explore different ways to improve the performance of these techniques by revisiting the NT-Xent contrastive loss. Our main contribution is the definition of the NT-Xent-AM loss and the study of the importance of Additive Margin (AM) in SimCLR and MoCo SSL methods to further separate positive from negative pairs. Despite class collisions, we show that AM enhances the compactness of same-speaker embeddings and reduces the number of false negatives and false positives on SV. Additionally, we demonstrate the effectiveness of the symmetric contrastive loss, which provides more supervision for the SSL task. Implementing these two modifications to SimCLR improves performance and results in 7.85% EER on VoxCeleb1-O, outperforming other equivalent methods.
Abstract（参考訳）: SSL(Self-Supervised Learning)フレームワークは、大規模なラベルなしデータセットを活用することで、堅牢なクラス表現を学習するための標準となった。話者検証(SV)では、ほとんどのSSLシステムは対照的な損失関数に依存している。 NT-Xentのコントラスト損失を再考することにより,これらの手法の性能向上を図る。我々の主な貢献はNT-Xent-AM損失の定義とSimCLRおよびMoCo SSL法における加算マージン(AM)の重要性の研究である。クラス衝突にもかかわらず、AMは同一話者埋め込みのコンパクト性を高め、SV上の偽陰性や偽陽性の数を減らすことを示す。さらに、SSLタスクのより詳細な監視を提供する対称的コントラスト損失の有効性を実証する。 SimCLRにこれらの2つの変更を実装することでパフォーマンスが向上し、VoxCeleb1-OのEERは7.85%向上した。

関連論文リスト

On the Effectiveness of Supervision in Asymmetric Non-Contrastive Learning [5.123232962822044]
非対称非競合学習(ANCL)は、自己指導的表現学習において、対照的な学習よりも優れていることが多い。教師付き表現学習のためのANCL(SupSiamとSupBYOL)について検討し,より優れた表現を実現するためにANCLのラベルを活用する。分析の結果,ANCLの監督はクラス内ばらつきを低減し,最高の性能を達成するためには,監督の貢献を調整すべきであることが判明した。
論文参考訳（メタデータ） (2024-06-16T06:43:15Z)
Towards Supervised Performance on Speaker Verification with Self-Supervised Learning by Leveraging Large-Scale ASR Models [0.0]
大規模ASRモデルからの音声表現には、貴重な話者情報が含まれる。本稿では,事前学習したWavLMを教師付き損失で微調整することにより,SSLコンテキストで話者表現を学習するフレームワークを提案する。提案手法はVoxCeleb1-O上で0.99%のEERを達成し,自己教師型SVにおける新たな最先端技術を確立する。
論文参考訳（メタデータ） (2024-06-04T12:58:19Z)
Towards Better Understanding of Contrastive Sentence Representation Learning: A Unified Paradigm for Gradient [20.37803751979975]
文表現学習(SRL)は自然言語処理(NLP)において重要な課題であるコントラスト型と非コントラスト型自己監督型学習(SSL)の類似性について多くの研究がなされている。しかし、ランキングタスク(すなわち、SRLのセマンティックテキスト類似性(STS))では、対照的なSSLは非コントラストSSLを著しく上回っている。
論文参考訳（メタデータ） (2024-02-28T12:17:40Z)
Relaxed Contrastive Learning for Federated Learning [48.96253206661268]
本稿では,フェデレート学習におけるデータ不均一性の課題に対処する,新しいコントラスト学習フレームワークを提案する。当社のフレームワークは,既存のフェデレート学習アプローチを,標準ベンチマークにおいて大きなマージンで上回ります。
論文参考訳（メタデータ） (2024-01-10T04:55:24Z)
Improving Contrastive Learning of Sentence Embeddings with Focal-InfoNCE [13.494159547236425]
本研究では、SimCSEとハードネガティブマイニングを組み合わせた教師なしのコントラスト学習フレームワークを提案する。提案した焦点情報処理関数は、対照的な目的に自己対応変調項を導入し、容易な負に関連付けられた損失を減らし、強負に焦点を絞ったモデルを促進する。
論文参考訳（メタデータ） (2023-10-10T18:15:24Z)
Identical and Fraternal Twins: Fine-Grained Semantic Contrastive Learning of Sentence Representations [6.265789210037749]
コントラスト学習フレームワークのIdentical Twins と Fraternal Twins を導入する。また,提案したツインズ・ロスの有効性を証明するために,概念実証実験と対照的な目的を組み合わせる。
論文参考訳（メタデータ） (2023-07-20T15:02:42Z)
Decoupled Adversarial Contrastive Learning for Self-supervised Adversarial Robustness [69.39073806630583]
頑健な表現学習のための対人訓練(AT)と教師なし表現学習のための自己教師型学習(SSL)は2つの活発な研究分野である。 Decoupled Adversarial Contrastive Learning (DeACL) と呼ばれる2段階のフレームワークを提案する。
論文参考訳（メタデータ） (2022-07-22T06:30:44Z)
On Higher Adversarial Susceptibility of Contrastive Self-Supervised Learning [104.00264962878956]
コントラスト型自己教師学習(CSL)は,画像と映像の分類において,教師あり学習のパフォーマンスに適合するか上回っている。 2つの学習パラダイムによって誘導される表現の性質が似ているかどうかは、いまだに不明である。我々は,CSL表現空間における単位超球面上のデータ表現の均一分布を,この現象の鍵となる要因として同定する。 CSLトレーニングでモデルロバスト性を改善するのにシンプルだが有効である戦略を考案する。
論文参考訳（メタデータ） (2022-07-22T03:49:50Z)
Adversarial Contrastive Learning via Asymmetric InfoNCE [64.42740292752069]
非対称なInfoNCEの目的と対比した場合,非対称なサンプルを不等に扱うことを提案する。非対称的な方法では、CLと対向学習の相反する目的の悪影響を効果的に軽減することができる。実験の結果,提案手法は既存CL法より一貫して優れていることがわかった。
論文参考訳（メタデータ） (2022-07-18T04:14:36Z)
ReSSL: Relational Self-Supervised Learning with Weak Augmentation [68.47096022526927]
自己教師付き学習は、データアノテーションなしで視覚表現を学ぶことに成功しました。本稿では,異なるインスタンス間の関係をモデル化して表現を学習する新しいリレーショナルSSLパラダイムを提案する。提案したReSSLは,性能とトレーニング効率の両面で,従来の最先端アルゴリズムよりも大幅に優れています。
論文参考訳（メタデータ） (2021-07-20T06:53:07Z)
Incremental False Negative Detection for Contrastive Learning [95.68120675114878]
本稿では,自己指導型コントラスト学習のための新たな偽陰性検出手法を提案する。対照的な学習では、検出された偽陰性を明示的に除去する2つの戦略について議論する。提案手法は,制限された計算内での複数のベンチマークにおいて,他の自己教師付きコントラスト学習フレームワークよりも優れる。
論文参考訳（メタデータ） (2021-06-07T15:29:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。