論文の概要: Hypothesis Clustering and Merging: Novel MultiTalker Speech Recognition with Speaker Tokens

• arxiv url: http://arxiv.org/abs/2409.15732v1
• Date: Tue, 24 Sep 2024 04:31:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-26 09:01:07.459916
• Title: Hypothesis Clustering and Merging: Novel MultiTalker Speech Recognition with Speaker Tokens
• Title（参考訳）: 仮説クラスタリングと統合:話者トークンを用いた複数話者音声認識
• Authors: Yosuke Kashiwagi, Hayato Futami, Emiru Tsunoo, Siddhant Arora, Shinji Watanabe,
• Abstract要約: 本稿では,話者クラスタリングにより得られた話者クラストークンを付加した新しいアテンションベースのエンコーダデコーダ手法を提案する。 推論中、予測された話者クラスタトークンに条件付き複数の認識仮説を選択する。 これらの仮説は、正規化された編集距離に基づいて集約的な階層的クラスタリングによってマージされる。
• 参考スコア（独自算出の注目度）: 45.161909551392085
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In many real-world scenarios, such as meetings, multiple speakers are present with an unknown number of participants, and their utterances often overlap. We address these multi-speaker challenges by a novel attention-based encoder-decoder method augmented with special speaker class tokens obtained by speaker clustering. During inference, we select multiple recognition hypotheses conditioned on predicted speaker cluster tokens, and these hypotheses are merged by agglomerative hierarchical clustering (AHC) based on the normalized edit distance. The clustered hypotheses result in the multi-speaker transcriptions with the appropriate number of speakers determined by AHC. Our experiments on the LibriMix dataset demonstrate that our proposed method was particularly effective in complex 3-mix environments, achieving a 55% relative error reduction on clean data and a 36% relative error reduction on noisy data compared with conventional serialized output training.
• Abstract（参考訳）: ミーティングのような現実世界のシナリオでは、複数の話者が未知の参加者と一緒にいて、その発話が重複することが多い。 本稿では,話者クラスタリングにより得られた特別な話者クラストークンを付加した注目型エンコーダデコーダ手法により,これらのマルチスピーカ課題に対処する。 予測された話者クラスタトークンに条件付けされた複数の認識仮説を選択し、これらの仮説を正規化編集距離に基づいて集約階層クラスタリング(AHC)によりマージする。 クラスタ化された仮説は、AHCによって決定される話者数の適切な多話者転写をもたらす。 LibriMixデータセットを用いた実験により,提案手法は複雑な3成分混合環境において特に有効であり,クリーンデータに対する55%の相対誤差低減,ノイズデータに対する36%の相対誤差低減を実現した。

関連論文リスト

• Bi-LSTM Scoring Based Similarity Measurement with Agglomerative Hierarchical Clustering (AHC) for Speaker Diarization [0.0]
  2つの話者間の典型的な会話は、声が重なり合う部分からなり、互いに中断したり、複数の文間での会話を止めたりする。 ダイアリゼーション技術の最近の進歩は、話者ダイアリゼーションシステムを即興化するニューラルネットワークベースのアプローチを活用している。 類似度行列に存在する要素を推定するための双方向長短期記憶ネットワークを提案する。
  論文  参考訳（メタデータ） (2022-05-19T17:20:51Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Directed Speech Separation for Automatic Speech Recognition of Long Form Conversational Speech [10.291482850329892]
  混合信号から直接抽出した話者埋め込みに基づいて訓練された話者条件付きセパレータを提案する。 また,会話データに対する単語誤り率 (WER) の大幅な改善を実現した。
  論文  参考訳（メタデータ） (2021-12-10T23:07:48Z)
• Speaker Embedding-aware Neural Diarization for Flexible Number of Speakers with Textual Information [55.75018546938499]
  本稿では,話者埋め込み認識型ニューラルダイアリゼーション(SEND)手法を提案する。 本手法は,ターゲット話者の音声活動検出よりも低いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-11-28T12:51:04Z)
• End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings [66.50782702086575]
  本論文では,単一チャンネルの音声記録から会議ダイアリゼーションを行う,エンドツーエンドのディープネットワークモデルを提案する。 提案システムは,可変数の置換不変なクロスエントロピーに基づく損失関数を用いて,未知数の話者とのミーティングを処理するように設計されている。
  論文  参考訳（メタデータ） (2021-05-05T14:55:29Z)
• End-to-End Speaker Diarization as Post-Processing [64.12519350944572]
  クラスタリングに基づくダイアリゼーション手法は、フレームを話者数のクラスタに分割する。 いくつかのエンドツーエンドのダイアリゼーション手法は、問題をマルチラベル分類として扱うことで重なり合う音声を処理できる。 本稿では,クラスタリングによる結果の処理後処理として,2話者のエンドツーエンドダイアリゼーション手法を提案する。
  論文  参考訳（メタデータ） (2020-12-18T05:31:07Z)
• Integrating end-to-end neural and clustering-based diarization: Getting the best of both worlds [71.36164750147827]
  クラスタリングに基づくアプローチでは、xベクトルのような話者埋め込みをクラスタリングすることで、話者ラベルを音声領域に割り当てる。 EEND(End-to-end Neural Diarization)は、ニューラルネットワークを使用してダイアリゼーションラベルを直接予測する。 重なり合う音声と、任意の数の話者を含む長い録音のために、単純だが効果的なハイブリッドダイアリゼーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-10-26T06:33:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。