論文の概要: Self-supervised Speaker Diarization

• arxiv url: http://arxiv.org/abs/2204.04166v1
• Date: Fri, 8 Apr 2022 16:27:14 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-11 14:27:32.021529
• Title: Self-supervised Speaker Diarization
• Title（参考訳）: 自己教師型話者ダイアリゼーション
• Authors: Yehoshua Dissen, Felix Kreuk and Joseph Keshet
• Abstract要約: 本研究では、話者ダイアリゼーションのための教師なしディープラーニングモデルを提案する。 話者埋め込みは、同一話者と推定される隣接セグメントのペアを使用して、自己教師付きで訓練されたエンコーダによって表現される。
• 参考スコア（独自算出の注目度）: 19.111219197011355
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Over the last few years, deep learning has grown in popularity for speaker verification, identification, and diarization. Inarguably, a significant part of this success is due to the demonstrated effectiveness of their speaker representations. These, however, are heavily dependent on large amounts of annotated data and can be sensitive to new domains. This study proposes an entirely unsupervised deep-learning model for speaker diarization. Specifically, the study focuses on generating high-quality neural speaker representations without any annotated data, as well as on estimating secondary hyperparameters of the model without annotations. The speaker embeddings are represented by an encoder trained in a self-supervised fashion using pairs of adjacent segments assumed to be of the same speaker. The trained encoder model is then used to self-generate pseudo-labels to subsequently train a similarity score between different segments of the same call using probabilistic linear discriminant analysis (PLDA) and further to learn a clustering stopping threshold. We compared our model to state-of-the-art unsupervised as well as supervised baselines on the CallHome benchmarks. According to empirical results, our approach outperforms unsupervised methods when only two speakers are present in the call, and is only slightly worse than recent supervised models.
• Abstract（参考訳）: 過去数年間、ディープラーニングは話者の検証、識別、ダイアリゼーションで人気を高めてきた。 必然的に、この成功の重要な部分は、話者表現の有効性の実証によるものである。 しかし、これらは大量の注釈付きデータに大きく依存しており、新しいドメインに敏感である。 本研究では,話者ダイアリゼーションのための教師なしディープラーニングモデルを提案する。 特にこの研究は、注釈付きデータなしで高品質なニューラルネットワーク表現の生成と、アノテーションなしでモデルの二次的ハイパーパラメータの推定に焦点を当てている。 話者埋め込みは、同一話者と推定される隣接セグメントのペアを用いて、自己教師方式で訓練されたエンコーダによって表現される。 次に、訓練されたエンコーダモデルを用いて擬似ラベルを自己生成し、確率線形判別分析(plda)を用いて同一呼び出しの異なるセグメント間の類似度スコアを訓練し、さらにクラスタリング停止閾値を学習する。 当社のモデルと最先端の教師なしベースライン,およびCallHomeベンチマークの教師付きベースラインを比較した。 実験結果によると,本手法は2つの話者しか呼出しない場合,教師なしの手法よりも優れており,近年の教師付きモデルよりもやや悪い。

関連論文リスト

• Robustness of Speech Separation Models for Similar-pitch Speakers [14.941946672578863]
  単一チャンネル音声分離は,マルチスピーカ環境における音声認識システムを強化する上で重要な課題である。 本稿では,話者間のピッチ差が最小限である場合における最先端ニューラルネットワークモデルのロバスト性について検討する。
  論文  参考訳（メタデータ） (2024-07-22T15:55:08Z)
• Label-Efficient Self-Supervised Speaker Verification With Information Maximization and Contrastive Learning [0.0]
  生音声から直接表現を学習することによる話者検証のための自己教師型学習について検討する。 我々のアプローチは、最近の情報学習フレームワークと集中的なデータ前処理ステップに基づいています。
  論文  参考訳（メタデータ） (2022-07-12T13:01:55Z)
• Automatic Evaluation of Speaker Similarity [0.0]
  本研究では,人間の知覚スコアと一致した話者類似度評価のための新しい自動評価手法を提案する。 実験の結果, 話者埋め込みから話者類似度MUSHRAスコアを0.96精度で予測し, 発話レベルでは0.78ピアソンスコアまで有意な相関関係を示すことができることがわかった。
  論文  参考訳（メタデータ） (2022-07-01T11:23:16Z)
• Self-supervised models of audio effectively explain human cortical responses to speech [71.57870452667369]
  我々は、自己教師型音声表現学習の進歩に乗じて、人間の聴覚システムの最先端モデルを作成する。 これらの結果から,ヒト大脳皮質における音声処理の異なる段階に関連する情報の階層構造を,自己教師型モデルで効果的に把握できることが示唆された。
  論文  参考訳（メタデータ） (2022-05-27T22:04:02Z)
• Raw waveform speaker verification for supervised and self-supervised learning [30.08242210230669]
  本稿では,話者検証に有効な手法を取り入れた新しい生波形話者検証モデルを提案する。 最も優れた構成の下では、このモデルは、最先端のモデルと競合する0.89%のエラー率を示す。 また、自己教師型学習フレームワークを用いて、提案モデルについて検討し、この研究シリーズにおける最先端のパフォーマンスを示す。
  論文  参考訳（メタデータ） (2022-03-16T09:28:03Z)
• Self-supervised Text-independent Speaker Verification using Prototypical Momentum Contrastive Learning [58.14807331265752]
  モーメントの対比学習によって話者埋め込みがより良く学習できることを示す。 自己監視フレームワークを、データのごく一部しかラベル付けされない半監視シナリオに一般化します。
  論文  参考訳（メタデータ） (2020-12-13T23:23:39Z)
• Learning and Evaluating Representations for Deep One-class Classification [59.095144932794646]
  ディープワンクラス分類のための2段階フレームワークを提案する。 まず,一級データから自己教師付き表現を学習し,学習した表現に基づいて一級分類器を構築する。 実験では、視覚領域の1クラス分類ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2020-11-04T23:33:41Z)
• Open-set Short Utterance Forensic Speaker Verification using Teacher-Student Network with Explicit Inductive Bias [59.788358876316295]
  そこで本研究では,小規模の法定フィールドデータセット上での話者検証を改善するためのパイプラインソリューションを提案する。 大規模領域外データセットを活用することで,教師学習のための知識蒸留に基づく目的関数を提案する。 提案する目的関数は,短時間の発話における教師学生の学習性能を効果的に向上できることを示す。
  論文  参考訳（メタデータ） (2020-09-21T00:58:40Z)
• Augmentation adversarial training for self-supervised speaker recognition [49.47756927090593]
  話者ラベルのない頑健な話者認識モデルを訓練する。 VoxCelebとVOiCESデータセットの実験は、セルフスーパービジョンを使用した以前の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2020-07-23T15:49:52Z)
• Audio ALBERT: A Lite BERT for Self-supervised Learning of Audio Representation [51.37980448183019]
  本稿では,自己教師型音声表現モデルの簡易版であるAudio ALBERTを提案する。 我々は、Audio ALBERTが、下流タスクにおいて、これらの巨大なモデルと競合する性能を達成することができることを示す。 探索実験において、潜在表現は、最後の層よりも音素と話者のリッチな情報をエンコードすることがわかった。
  論文  参考訳（メタデータ） (2020-05-18T10:42:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。