論文の概要: Contrastive Separative Coding for Self-supervised Representation Learning

• arxiv url: http://arxiv.org/abs/2103.00816v1
• Date: Mon, 1 Mar 2021 07:32:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 16:52:47.079548
• Title: Contrastive Separative Coding for Self-supervised Representation Learning
• Title（参考訳）: 自己監督型表現学習のためのコントラスト分離符号化
• Authors: Jun Wang, Max W. Y. Lam, Dan Su, Dong Yu
• Abstract要約: CSC(Contrastive Separative Coding)という自己監督型学習手法を提案する。 まず、共有分離および判別埋め込みを抽出するために、マルチタスク分離エンコーダを構築する。 第2に,様々な干渉条件で話者表現を行う強力なクロスアテンション機構を提案する。
• 参考スコア（独自算出の注目度）: 37.697375719184926
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To extract robust deep representations from long sequential modeling of speech data, we propose a self-supervised learning approach, namely Contrastive Separative Coding (CSC). Our key finding is to learn such representations by separating the target signal from contrastive interfering signals. First, a multi-task separative encoder is built to extract shared separable and discriminative embedding; secondly, we propose a powerful cross-attention mechanism performed over speaker representations across various interfering conditions, allowing the model to focus on and globally aggregate the most critical information to answer the "query" (current bottom-up embedding) while paying less attention to interfering, noisy, or irrelevant parts; lastly, we form a new probabilistic contrastive loss which estimates and maximizes the mutual information between the representations and the global speaker vector. While most prior unsupervised methods have focused on predicting the future, neighboring, or missing samples, we take a different perspective of predicting the interfered samples. Moreover, our contrastive separative loss is free from negative sampling. The experiment demonstrates that our approach can learn useful representations achieving a strong speaker verification performance in adverse conditions.
• Abstract（参考訳）: 音声データの長期連続モデリングから堅牢な深度表現を抽出するために,自己監視型学習手法,すなわち対比分離符号化(CSC)を提案する。 我々の重要な発見は、対象信号と対照干渉信号とを分離して、そのような表現を学ぶことである。 First, a multi-task separative encoder is built to extract shared separable and discriminative embedding; secondly, we propose a powerful cross-attention mechanism performed over speaker representations across various interfering conditions, allowing the model to focus on and globally aggregate the most critical information to answer the "query" (current bottom-up embedding) while paying less attention to interfering, noisy, or irrelevant parts; lastly, we form a new probabilistic contrastive loss which estimates and maximizes the mutual information between the representations and the global speaker vector. 従来の教師なし手法は, 将来, 隣り合う, あるいは欠落するサンプルの予測に重点を置いてきたが, 干渉したサンプルの予測には異なる視点を採っている。 さらに, 対照的な分離損失は負のサンプリングを伴わない。 提案手法は, 話者検証性能の向上に寄与する有用な表現を, 悪条件下で学習できることを実証した。

関連論文リスト

• An Attention-based Framework for Fair Contrastive Learning [2.1605931466490795]
  そこで本稿では,バイアスを考慮したインタラクションをモデル化するための注意機構を用いた,公正なコントラスト学習のための新しい手法を提案する。 我々の注意機構は、モデルに相反するバイアスを発生させるサンプルを避け、意味論的に意味のある表現を学習するのに役立つバイアスを誘発するサンプルに焦点をあてる。
  論文  参考訳（メタデータ） (2024-11-22T07:11:35Z)
• Regularized Contrastive Partial Multi-view Outlier Detection [76.77036536484114]
  RCPMOD(Regularized Contrastive partial Multi-view Outlier Detection)と呼ばれる新しい手法を提案する。 このフレームワークでは、コントラスト学習を利用して、ビュー一貫性のある情報を学び、一貫性の度合いでアウトレイラを識別する。 4つのベンチマークデータセットによる実験結果から,提案手法が最先端の競合より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-02T14:34:27Z)
• Constrained Multiview Representation for Self-supervised Contrastive Learning [4.817827522417457]
  本稿では、異なる視点の重要度を測定するために、表現距離に基づく相互情報(MI)に基づく新しいアプローチを提案する。 周波数領域から抽出した多視点表現を利用して、相互情報に基づいてそれらの意義を再評価する。
  論文  参考訳（メタデータ） (2024-02-05T19:09:33Z)
• Point Contrastive Prediction with Semantic Clustering for Self-Supervised Learning on Point Cloud Videos [71.20376514273367]
  本稿では,オブジェクト中心およびシーン中心のデータを対象とした一元的クラウドビデオ自己教師型学習フレームワークを提案する。 本手法は、広範囲の下流タスクにおいて教師付きタスクよりも優れる。
  論文  参考訳（メタデータ） (2023-08-18T02:17:47Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)
• Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations [83.60161052867534]
  クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。 以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。 我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
  論文  参考訳（メタデータ） (2020-07-13T05:00:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。