論文の概要: End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations

• arxiv url: http://arxiv.org/abs/2303.12002v2
• Date: Thu, 16 May 2024 09:28:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-17 19:43:51.692059
• Title: End-to-End Integration of Speech Separation and Voice Activity Detection for Low-Latency Diarization of Telephone Conversations
• Title（参考訳）: 電話会話の低レイテンシダイアリゼーションのための音声分離と音声活動検出のエンドツーエンド統合
• Authors: Giovanni Morrone, Samuele Cornell, Luca Serafini, Enrico Zovato, Alessio Brutti, Stefano Squartini,
• Abstract要約: 音声分離誘導ダイアリゼーション(SSGD)は、まず話者を分離し、各分離ストリームに音声活動検出(VAD)を適用することでダイアリゼーションを行う。 3つの最先端音声分離(SSep)アルゴリズムを検討し,その性能をオンラインおよびオフラインのシナリオで検討する。 我々は,CALLHOMEの8.8%のDORを実現し,現在の最先端のニューラルダイアリゼーションモデルより優れていることを示す。
• 参考スコア（独自算出の注目度）: 13.020158123538138
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Recent works show that speech separation guided diarization (SSGD) is an increasingly promising direction, mainly thanks to the recent progress in speech separation. It performs diarization by first separating the speakers and then applying voice activity detection (VAD) on each separated stream. In this work we conduct an in-depth study of SSGD in the conversational telephone speech (CTS) domain, focusing mainly on low-latency streaming diarization applications. We consider three state-of-the-art speech separation (SSep) algorithms and study their performance both in online and offline scenarios, considering non-causal and causal implementations as well as continuous SSep (CSS) windowed inference. We compare different SSGD algorithms on two widely used CTS datasets: CALLHOME and Fisher Corpus (Part 1 and 2) and evaluate both separation and diarization performance. To improve performance, a novel, causal and computationally efficient leakage removal algorithm is proposed, which significantly decreases false alarms. We also explore, for the first time, fully end-to-end SSGD integration between SSep and VAD modules. Crucially, this enables fine-tuning on real-world data for which oracle speakers sources are not available. In particular, our best model achieves 8.8% DER on CALLHOME, which outperforms the current state-of-the-art end-to-end neural diarization model, despite being trained on an order of magnitude less data and having significantly lower latency, i.e., 0.1 vs. 1 seconds. Finally, we also show that the separated signals can be readily used also for automatic speech recognition, reaching performance close to using oracle sources in some configurations.
• Abstract（参考訳）: 最近の研究によると、音声分離誘導ダイアリゼーション(SSGD)は、近年の音声分離の進展により、ますます有望な方向であることが示されている。 スピーカをまず分離し、次に分離されたストリーム毎に音声アクティビティ検出(VAD)を適用することでダイアリゼーションを行う。 本研究では,会話音声(CTS)領域におけるSSGDの詳細な研究を行い,主に低遅延ストリーミングダイアリゼーションアプリケーションに焦点を当てた。 我々は3つの最先端音声分離(SSep)アルゴリズムを考察し,非因果的および因果的実装と連続的なSSep(CSS)ウィンドウ推論を考慮し,オンラインシナリオとオフラインシナリオの両方でそれらの性能について検討する。 CALLHOMEとFisher Corpus(第1部と第2部)の2つの広く使用されているCTSデータセット上で,SSGDアルゴリズムを比較し,分離性能とダイアリゼーション性能を評価した。 性能向上のために,新しい因果的かつ計算効率の高い漏洩除去アルゴリズムを提案し,誤報を著しく低減した。 また、SSepとVADモジュール間の完全なエンドツーエンドのSSGD統合についても、初めて検討しています。 重要なことに、これはオラクルスピーカーソースが利用できない実世界のデータを微調整することを可能にする。 特に、我々の最良のモデルはCALLHOMEの8.8%のDERを達成しており、これは現在の最先端のエンドツーエンドのニューラルダイアリゼーションモデルよりも優れています。 最後に,分離した信号は自動音声認識にも容易に利用でき,一部の構成ではオラクルソースに近い性能が得られることを示す。

関連論文リスト

• DMDSpeech: Distilled Diffusion Model Surpassing The Teacher in Zero-shot Speech Synthesis via Direct Metric Optimization [12.310318928818546]
  そこで本研究では, 直接的エンドツーエンド評価を用いたTS拡散モデルの蒸留法を提案する。 DMDSpeechは、自然性と話者類似性の両方において、従来の最先端モデルより一貫して上回っていることを示す。 この研究は、音声合成における直接メートル法最適化の可能性を強調し、モデルが人間の聴覚的嗜好とよりよく一致できるようにする。
  論文  参考訳（メタデータ） (2024-10-14T21:17:58Z)
• Online speaker diarization of meetings guided by speech separation [0.0]
  重複した音声は、話者ダイアリゼーションシステムに問題があることで知られている。 長時間録音のオンライン話者ダイアリゼーションに適した音声分離誘導ダイアリゼーション方式を提案する。
  論文  参考訳（メタデータ） (2024-01-30T09:09:22Z)
• Audio-Visual Efficient Conformer for Robust Speech Recognition [91.3755431537592]
  本稿では,近年提案されている高能率コンバータ接続性時間分類アーキテクチャの雑音を,音声と視覚の両方を処理して改善することを提案する。 実験の結果,音声と視覚のモダリティを用いることで,環境騒音の存在下での音声の認識が向上し,トレーニングが大幅に加速し,WERが4倍のトレーニングステップで低下することが確認された。
  論文  参考訳（メタデータ） (2023-01-04T05:36:56Z)
• Learning Phone Recognition from Unpaired Audio and Phone Sequences Based on Generative Adversarial Network [58.82343017711883]
  そこで本研究では,不適切な音声系列や発話から直接学習する方法について検討する。 GAN訓練を第1段階に導入し,無声音声と音声シーケンスのマッピング関係を求める。 第2段階では、発電機の出力からトレーニングするために別のHMMモデルが導入され、性能が向上する。
  論文  参考訳（メタデータ） (2022-07-29T09:29:28Z)
• Learning Long-Term Spatial-Temporal Graphs for Active Speaker Detection [21.512786675773675]
  複数の話者によるビデオにおけるアクティブな話者検出は難しい課題である。 本研究では空間時間グラフ学習フレームワークSPELLを提案する。 SPELLは計算コストのかかる完全連結グラフニューラルネットワークに頼ることなく、すべてのノードの長時間の時間的コンテキストを推論することができる。
  論文  参考訳（メタデータ） (2022-07-15T23:43:17Z)
• STOP: A dataset for Spoken Task Oriented Semantic Parsing [66.14615249745448]
  エンドツーエンド音声言語理解(SLU)は単一モデルを用いて音声から直接意図を予測する。 Spoken Task-Oriented semantic Parsing (STOP) データセットをリリースします。 人間が録音した音声に加えて、我々はTS生成バージョンをリリースし、エンド・ツー・エンドのSLUシステムの低リソース領域適応の性能をベンチマークする。
  論文  参考訳（メタデータ） (2022-06-29T00:36:34Z)
• Enhanced Direct Speech-to-Speech Translation Using Self-supervised Pre-training and Data Augmentation [76.13334392868208]
  直接音声音声変換(S2ST)モデルは、データ不足の問題に悩まされる。 本研究では,この課題に対処するために,ラベルのない音声データとデータ拡張を用いた自己教師付き事前学習について検討する。
  論文  参考訳（メタデータ） (2022-04-06T17:59:22Z)
• End-to-End Active Speaker Detection [58.7097258722291]
  本稿では,特徴学習と文脈予測を共同で学習するエンド・ツー・エンドのトレーニングネットワークを提案する。 また、時間間グラフニューラルネットワーク(iGNN)ブロックを導入し、ASD問題における主要なコンテキストのソースに応じてメッセージパッシングを分割する。 実験により、iGNNブロックからの集約された特徴はASDにより適しており、その結果、最先端のアートパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2022-03-27T08:55:28Z)
• Target-Speaker Voice Activity Detection: a Novel Approach for Multi-Speaker Diarization in a Dinner Party Scenario [51.50631198081903]
  本稿では,TS-VAD(Target-Speaker Voice Activity Detection)手法を提案する。 TS-VADは各時間フレーム上の各話者の活動を直接予測する。 CHiME-6での実験では、TS-VADが最先端の結果を得ることが示された。
  論文  参考訳（メタデータ） (2020-05-14T21:24:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。