論文の概要: Mixture Encoder for Joint Speech Separation and Recognition

• arxiv url: http://arxiv.org/abs/2306.12173v1
• Date: Wed, 21 Jun 2023 11:01:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-22 13:48:33.629820
• Title: Mixture Encoder for Joint Speech Separation and Recognition
• Title（参考訳）: 統合音声分離認識用混合符号化器
• Authors: Simon Berger, Peter Vieting, Christoph Boeddeker, Ralf Schl\"uter and Reinhold Haeb-Umbach
• Abstract要約: マルチ話者自動音声認識は多くの実世界のアプリケーションにとって不可欠である。 既存のアプローチは、モジュラーとエンドツーエンドのメソッドに分けられる。 エンドツーエンドモデルでは、重複した音声を直接単一の強力なニューラルネットワークで処理する。
• 参考スコア（独自算出の注目度）: 15.13598115379631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-speaker automatic speech recognition (ASR) is crucial for many real-world applications, but it requires dedicated modeling techniques. Existing approaches can be divided into modular and end-to-end methods. Modular approaches separate speakers and recognize each of them with a single-speaker ASR system. End-to-end models process overlapped speech directly in a single, powerful neural network. This work proposes a middle-ground approach that leverages explicit speech separation similarly to the modular approach but also incorporates mixture speech information directly into the ASR module in order to mitigate the propagation of errors made by the speech separator. We also explore a way to exchange cross-speaker context information through a layer that combines information of the individual speakers. Our system is optimized through separate and joint training stages and achieves a relative improvement of 7% in word error rate over a purely modular setup on the SMS-WSJ task.
• Abstract（参考訳）: マルチスピーカ自動音声認識(ASR)は多くの実世界のアプリケーションに必須であるが、専用のモデリング技術が必要である。 既存のアプローチは、モジュラーとエンドツーエンドのメソッドに分けられる。 モジュラーアプローチ スピーカーを分離し、それぞれを単一話者asrシステムで認識する。 エンドツーエンドモデルでは、重複した音声を単一の強力なニューラルネットワークで直接処理する。 本研究は,モジュール型手法と同様に明示的な音声分離を活用しつつ,asrモジュールに混合音声情報を直接組み込んで,音声分離器による誤りの伝播を緩和するミドルグラウンド手法を提案する。 また,各話者の情報を組み合わせるレイヤを通じて,話者間のコンテキスト情報を交換する方法についても検討する。 本システムでは,sms-wsjタスクにおける純粋にモジュール化された設定よりも,単語誤り率7%の相対的改善を実現している。

関連論文リスト

• Cross-Speaker Encoding Network for Multi-Talker Speech Recognition [74.97576062152709]
  Cross-MixSpeaker ネットワークは、話者間の表現を集約することでSIMOモデルの制限に対処する。 ネットワークはSOTと統合され、SIMOとSISOの両方の利点を利用する。
  論文  参考訳（メタデータ） (2024-01-08T16:37:45Z)
• One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition [50.055765860343286]
  本稿では,共同話者ダイアリゼーションと音声認識のための新しい枠組みを提案する。 このフレームワークはSLIDARと呼ばれ、任意の長さの入力を処理でき、任意の数の話者を処理できる。 AMIコーパスからの単調録音実験により, 近接話者と遠距離話者の両方の発話シナリオにおける手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-10-02T23:03:30Z)
• Disentangling Voice and Content with Self-Supervision for Speaker Recognition [57.446013973449645]
  本稿では,音声における話者の特性と内容の変動を同時にモデル化するアンタングル化フレームワークを提案する。 実験はVoxCelebとSITWのデータセットで実施され、EERとminDCFの平均減少率は9.56%と8.24%である。
  論文  参考訳（メタデータ） (2023-10-02T12:02:07Z)
• Monaural Multi-Speaker Speech Separation Using Efficient Transformer Model [0.0]
  月次多話者音声分離」はトランスフォーマーアーキテクチャとその効率的な形式に基づく音声分離モデルを示す。 このモデルは、多様な話者の発話を含むLibriMixデータセットでトレーニングされている。
  論文  参考訳（メタデータ） (2023-07-29T15:10:46Z)
• Unified Modeling of Multi-Talker Overlapped Speech Recognition and Diarization with a Sidecar Separator [42.8787280791491]
  複数話者の重複した音声は,音声認識とダイアリゼーションにおいて重要な課題となる。 本稿では,単一話者の自動音声認識システムをマルチ話者に変換するコスト効率のよい手法を提案する。 ダイアリゼーションブランチをSidecarに組み込むことで、ASRとダイアリゼーションの両方を統一的にモデル化し、768のパラメータのみを無視できるオーバーヘッドでダイアリゼーションを行う。
  論文  参考訳（メタデータ） (2023-05-25T17:18:37Z)
• Multi-Dimensional and Multi-Scale Modeling for Speech Separation Optimized by Discriminative Learning [9.84949849886926]
  音声分離のためのSE変換器とISCIT(Intra-SE-Conformer and Inter-Transformer) 新しいネットワークSE-Conformerは、複数の次元とスケールでオーディオシーケンスをモデル化できる。
  論文  参考訳（メタデータ） (2023-03-07T08:53:20Z)
• End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings [66.50782702086575]
  本論文では,単一チャンネルの音声記録から会議ダイアリゼーションを行う,エンドツーエンドのディープネットワークモデルを提案する。 提案システムは,可変数の置換不変なクロスエントロピーに基づく損失関数を用いて,未知数の話者とのミーティングを処理するように設計されている。
  論文  参考訳（メタデータ） (2021-05-05T14:55:29Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• Audio-visual Multi-channel Recognition of Overlapped Speech [79.21950701506732]
  本稿では,音声とマルチチャンネルの重なり合う音声認識システムについて述べる。 実験により,提案したマルチチャネルAVSRシステムは,音声のみのASRシステムを最大6.81% (26.83%) ,22.22% (56.87%) の絶対単語誤り率 (WER) で比較した。
  論文  参考訳（メタデータ） (2020-05-18T10:31:19Z)
• End-to-End Neural Diarization: Reformulating Speaker Diarization as Simple Multi-label Classification [45.38809571153867]
  本稿では,ニューラルネットワークが直接話者ダイアリゼーション結果を出力するエンド・ツー・エンド・ニューラルダイアリゼーション(EEND)を提案する。 話者セグメントラベルとマルチスピーカ記録を連携させることにより,本モデルは実際の会話に容易に適応できる。
  論文  参考訳（メタデータ） (2020-02-24T14:53:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。