論文の概要: Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation

• arxiv url: http://arxiv.org/abs/2502.02683v1
• Date: Tue, 04 Feb 2025 19:50:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-06 14:28:37.323249
• Title: Streaming Speaker Change Detection and Gender Classification for Transducer-Based Multi-Talker Speech Translation
• Title（参考訳）: トランスデューサに基づく多話者音声翻訳のためのストリーム話者変化検出とジェンダー分類
• Authors: Peidong Wang, Naoyuki Kanda, Jian Xue, Jinyu Li, Xiaofei Wang, Aswin Shanmugam Subramanian, Junkun Chen, Sunit Sivasankaran, Xiong Xiao, Yong Zhao,
• Abstract要約: 本稿では,トランスデューサをベースとしたストリーム・ツー・エンド音声翻訳モデルに話者埋め込みを組み込むことで,ストリーミング話者変化の検出と性別分類に取り組むことを提案する。 提案手法は,話者変化検出と性別分類の両面で高い精度を実現することができることを示す。
• 参考スコア（独自算出の注目度）: 45.51065693072839
• License:
• Abstract: Streaming multi-talker speech translation is a task that involves not only generating accurate and fluent translations with low latency but also recognizing when a speaker change occurs and what the speaker's gender is. Speaker change information can be used to create audio prompts for a zero-shot text-to-speech system, and gender can help to select speaker profiles in a conventional text-to-speech model. We propose to tackle streaming speaker change detection and gender classification by incorporating speaker embeddings into a transducer-based streaming end-to-end speech translation model. Our experiments demonstrate that the proposed methods can achieve high accuracy for both speaker change detection and gender classification.
• Abstract（参考訳）: マルチトーカー音声翻訳のストリーミングは、低レイテンシで正確で流動的な翻訳を生成するだけでなく、話者がいつ変化し、話者の性別が変わるかを認識するタスクである。 話者変更情報は、ゼロショット音声合成システムのための音声プロンプトを作成するために使用され、ジェンダーは従来のテキスト音声合成モデルで話者プロファイルを選択するのに役立つ。 本稿では,トランスデューサをベースとしたストリーム・ツー・エンド音声翻訳モデルに話者埋め込みを組み込むことで,ストリーミング話者変化の検出と性別分類に取り組むことを提案する。 提案手法は,話者変化検出と性別分類の両面で高い精度を実現することができることを示す。

関連論文リスト

• Speech After Gender: A Trans-Feminine Perspective on Next Steps for Speech Science and Technology [1.7126708168238125]
  トランスフェミニンの性別確認音声教師は、話者のアイデンティティに関する現在の理解を損なう音声に対して、ユニークな視点を持っている。 VVD(Versatile Voice dataset)は,ジェンダー付き軸に沿って声を変更する3人の話者の集合体である。
  論文  参考訳（メタデータ） (2024-07-09T21:19:49Z)
• TransVIP: Speech to Speech Translation System with Voice and Isochrony Preservation [97.54885207518946]
  カスケード方式で多様なデータセットを活用する新しいモデルフレームワークTransVIPを提案する。 本稿では、話者の音声特性と、翻訳過程における音源音声からの等時性を維持するために、2つの分離エンコーダを提案する。 フランス語と英語のペアに関する実験により、我々のモデルは、現在最先端の音声音声翻訳モデルよりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-05-28T04:11:37Z)
• Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition [27.35304346509647]
  話者ラベルを自己回帰変換器に基づく音声認識モデルに導入する。 次に、個々の話者の音声セグメントを検出するための新しい話者マスク分岐を提案する。 提案モデルでは,音声認識と話者ダイアリゼーションの両方を同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-18T06:29:53Z)
• PromptTTS++: Controlling Speaker Identity in Prompt-Based Text-to-Speech Using Natural Language Descriptions [21.15647416266187]
  本稿では,自然言語記述を用いた話者識別制御が可能な音声合成システムPromptTTS++を提案する。 本稿では,話し方とほぼ独立に設計された音声特性を記述した話者プロンプトの概念を紹介する。 主観評価の結果,提案手法は話者プロンプトを使わずに話者特性を制御できることがわかった。
  論文  参考訳（メタデータ） (2023-09-15T04:11:37Z)
• Speaker and Language Change Detection using Wav2vec2 and Whisper [1.9594639581421422]
  音声認識のために事前訓練されたトランスフォーマーネットワークについて検討し,音声認識における話者と言語の変化を検出する能力について検討した。 話者認識は10%程度の誤り率、言語検出エラー率は数パーセントと同等である。
  論文  参考訳（メタデータ） (2023-02-18T16:45:30Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• Investigating on Incorporating Pretrained and Learnable Speaker Representations for Multi-Speaker Multi-Style Text-to-Speech [54.75722224061665]
  本研究では,異なる話者表現を調査し,事前学習可能な話者表現を統合することを提案する。 FastSpeech 2モデルと事前訓練された話者表現と学習可能な話者表現を組み合わせることで、少数の話者に対して大きな一般化能力を示す。
  論文  参考訳（メタデータ） (2021-03-06T10:14:33Z)
• Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers [38.3469744871394]
  エンドツーエンドの話者分散音声認識モデルを提案する。 重複した音声における話者カウント、音声認識、話者識別を統一する。
  論文  参考訳（メタデータ） (2020-06-19T02:05:18Z)
• Speaker Diarization with Lexical Information [59.983797884955]
  本研究では,音声認識による語彙情報を活用した話者ダイアリゼーション手法を提案する。 本稿では,話者クラスタリングプロセスに単語レベルの話者回転確率を組み込んだ話者ダイアリゼーションシステムを提案し,全体的なダイアリゼーション精度を向上させる。
  論文  参考訳（メタデータ） (2020-04-13T17:16:56Z)
• Improving speaker discrimination of target speech extraction with time-domain SpeakerBeam [100.95498268200777]
  SpeakerBeamは、ターゲット話者の適応発話を利用して、声の特徴を抽出する。 SpeakerBeamは、同じジェンダーのミキシングのように、話者が似たような音声特性を持つときに失敗することがある。 実験により、これらの戦略は、特に同性混合において、音声抽出性能を大幅に向上させることが示された。
  論文  参考訳（メタデータ） (2020-01-23T05:36:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。