論文の概要: Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition

• arxiv url: http://arxiv.org/abs/2312.10959v1
• Date: Mon, 18 Dec 2023 06:29:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-20 21:02:09.491140
• Title: Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition
• Title（参考訳）: マルチトーカーオーバーラップ音声認識のための話者マスク変換器
• Authors: Peng Shen, Xugang Lu, Hisashi Kawai
• Abstract要約: 話者ラベルを自己回帰変換器に基づく音声認識モデルに導入する。 次に、個々の話者の音声セグメントを検出するための新しい話者マスク分岐を提案する。 提案モデルでは,音声認識と話者ダイアリゼーションの両方を同時に行うことができる。
• 参考スコア（独自算出の注目度）: 27.35304346509647
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Multi-talker overlapped speech recognition remains a significant challenge, requiring not only speech recognition but also speaker diarization tasks to be addressed. In this paper, to better address these tasks, we first introduce speaker labels into an autoregressive transformer-based speech recognition model to support multi-speaker overlapped speech recognition. Then, to improve speaker diarization, we propose a novel speaker mask branch to detection the speech segments of individual speakers. With the proposed model, we can perform both speech recognition and speaker diarization tasks simultaneously using a single model. Experimental results on the LibriSpeech-based overlapped dataset demonstrate the effectiveness of the proposed method in both speech recognition and speaker diarization tasks, particularly enhancing the accuracy of speaker diarization in relatively complex multi-talker scenarios.
• Abstract（参考訳）: 複数話者重複音声認識は重要な課題であり、音声認識だけでなく話者ダイアリゼーションタスクも必要である。 本稿では,まず,マルチ話者重複音声認識をサポートするために,自己回帰トランスフォーマベース音声認識モデルに話者ラベルを導入する。 そして、話者ダイアリゼーションを改善するために、個々の話者の音声セグメントを検出する新しい話者マスク分岐を提案する。 提案モデルでは,単一モデルを用いて音声認識と話者ダイアリゼーションの両方を同時に行うことができる。 LibriSpeechをベースとした重複データセットの実験結果は、音声認識と話者ダイアリゼーションの両方において提案手法の有効性を示し、特に比較的複雑なマルチトーカーシナリオにおける話者ダイアリゼーションの精度を高める。

関連論文リスト

• Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System [73.34663391495616]
  本稿では,複数話者と目標話者の音声認識タスクを併用する先駆的手法を提案する。 具体的には、Whisperを凍結し、Sidecarセパレータをエンコーダに差し込み、複数の話者に対する混合埋め込みを分離する。 AishellMix Mandarin データセット上で,マルチストーカー ASR 上で許容できるゼロショット性能を提供する。
  論文  参考訳（メタデータ） (2024-07-13T09:28:24Z)
• ERNIE-SAT: Speech and Text Joint Pretraining for Cross-Lingual Multi-Speaker Text-to-Speech [58.93395189153713]
  言語間複数話者音声合成タスクの事前学習法を拡張した。 本稿では,スペクトルと音素をランダムにマスキングする,音声・テキスト共同事前学習フレームワークを提案する。 本モデルは,話者埋め込み型マルチスピーカTS法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-11-07T13:35:16Z)
• In search of strong embedding extractors for speaker diarisation [49.7017388682077]
  話者ダイアリゼーションにEEを採用する際の2つの重要な問題に対処する。 まず、性能向上に必要な特徴が話者検証とダイアリゼーションに異なるため、評価は簡単ではない。 広く採用されている話者検証評価プロトコルの性能向上は、ダイアリゼーション性能の向上に繋がらないことを示す。 重なり合う音声や話者変化の入力を認識するために,2番目の問題を緩和する2つのデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2022-10-26T13:00:29Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• U-vectors: Generating clusterable speaker embedding from unlabeled data [0.0]
  本稿では,未ラベルデータを扱う話者認識戦略を提案する。 小さな固定サイズの音声フレームからクラスタブルな埋め込みベクトルを生成する。 提案手法はペアワイズアーキテクチャを用いて優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-02-07T18:00:09Z)
• Filling the Gap of Utterance-aware and Speaker-aware Representation for Multi-turn Dialogue [76.88174667929665]
  マルチターン対話は、2つ以上の異なる話者の役割から複数の発話からなる。 既存の検索に基づくマルチターン対話モデルでは、事前訓練された言語モデル(PrLM)をエンコーダとして、対話を粗く表現する。 本稿では,対話履歴に係わる効果的な発話認識表現と話者認識表現をモデル化することにより,そのようなギャップを埋める新しいモデルを提案する。
  論文  参考訳（メタデータ） (2020-09-14T15:07:19Z)
• A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning [35.36769027019856]
  対話型話者認識(ISR)と呼ばれる自動話者認識のための新しいパラダイムを提案する。 このパラダイムでは、個人化された発話をリクエストすることで、話者の表現を段階的に構築することを目的としている。 提案手法は,音声信号量が少ない場合に優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-07T12:44:08Z)
• Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers [38.3469744871394]
  エンドツーエンドの話者分散音声認識モデルを提案する。 重複した音声における話者カウント、音声認識、話者識別を統一する。
  論文  参考訳（メタデータ） (2020-06-19T02:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。