論文の概要: Streaming Multi-talker Speech Recognition with Joint Speaker Identification

• arxiv url: http://arxiv.org/abs/2104.02109v1
• Date: Mon, 5 Apr 2021 18:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-07 14:00:48.560835
• Title: Streaming Multi-talker Speech Recognition with Joint Speaker Identification
• Title（参考訳）: 共同話者識別を用いたストリーミングマルチトーカ音声認識
• Authors: Liang Lu, Naoyuki Kanda, Jinyu Li and Yifan Gong
• Abstract要約: SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
• 参考スコア（独自算出の注目度）: 77.46617674133556
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In multi-talker scenarios such as meetings and conversations, speech processing systems are usually required to transcribe the audio as well as identify the speakers for downstream applications. Since overlapped speech is common in this case, conventional approaches usually address this problem in a cascaded fashion that involves speech separation, speech recognition and speaker identification that are trained independently. In this paper, we propose Streaming Unmixing, Recognition and Identification Transducer (SURIT) -- a new framework that deals with this problem in an end-to-end streaming fashion. SURIT employs the recurrent neural network transducer (RNN-T) as the backbone for both speech recognition and speaker identification. We validate our idea on the LibrispeechMix dataset -- a multi-talker dataset derived from Librispeech, and present encouraging results.
• Abstract（参考訳）: 会議や会話のようなマルチトーカーのシナリオでは、音声の書き起こしや下流アプリケーションのための話者を特定するために音声処理システムが必要である。 この場合、重複した音声が一般的であるため、従来の手法では、独立して訓練された音声分離、音声認識、話者識別を含むケースケード方式でこの問題に対処する。 本稿では,この問題をエンドツーエンドのストリーミング方式で処理する新しいフレームワークであるStreaming Unmixing, Recognition and Identification Transducer (SURIT)を提案する。 suritでは、音声認識と話者識別の両方のバックボーンとして、recurrent neural network transducer(rnn-t)を使用している。 我々は、Librispeechから派生したマルチストーカーデータセットであるLibrispeechMixデータセット上で、私たちのアイデアを検証する。

関連論文リスト

• Empowering Whisper as a Joint Multi-Talker and Target-Talker Speech Recognition System [73.34663391495616]
  本稿では,複数話者と目標話者の音声認識タスクを併用する先駆的手法を提案する。 具体的には、Whisperを凍結し、Sidecarセパレータをエンコーダに差し込み、複数の話者に対する混合埋め込みを分離する。 AishellMix Mandarin データセット上で,マルチストーカー ASR 上で許容できるゼロショット性能を提供する。
  論文  参考訳（メタデータ） (2024-07-13T09:28:24Z)
• Speaker Mask Transformer for Multi-talker Overlapped Speech Recognition [27.35304346509647]
  話者ラベルを自己回帰変換器に基づく音声認識モデルに導入する。 次に、個々の話者の音声セグメントを検出するための新しい話者マスク分岐を提案する。 提案モデルでは,音声認識と話者ダイアリゼーションの両方を同時に行うことができる。
  論文  参考訳（メタデータ） (2023-12-18T06:29:53Z)
• Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation [53.01238689626378]
  本稿では,話者ダイアリゼーションシステムにおける意味情報を活用する新しい手法を提案する。 音声言語理解モジュールを導入し、話者関連意味情報を抽出する。 本稿では,これらの制約を話者ダイアリゼーションパイプラインに統合する新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:30Z)
• Learning Speech Representation From Contrastive Token-Acoustic Pretraining [57.08426714676043]
  本研究では、2つのエンコーダを用いて音素と音声を複数モーダル空間に導入するCTAP(Contrastive Token-Acoustic Pretraining)を提案する。 提案したCTAPモデルは、210k音声と音素ペアで訓練され、最小教師付きTS、VC、ASRを実現する。
  論文  参考訳（メタデータ） (2023-09-01T12:35:43Z)
• Improved Relation Networks for End-to-End Speaker Verification and Identification [0.0]
  話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。 話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。 話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
  論文  参考訳（メタデータ） (2022-03-31T17:44:04Z)
• Streaming Speaker-Attributed ASR with Token-Level Speaker Embeddings [53.11450530896623]
  本稿では,「誰が何を話したか」を認識可能な,ストリーミング話者対応自動音声認識(SA-ASR)モデルを提案する。 本モデルは,最近提案されたマルチトーカー音声をストリーミング形式で書き起こすためのトークンレベルシリアライズアウトプットトレーニング(t-SOT)に基づいている。 提案モデルでは,従来のストリーミングモデルよりも精度が大幅に向上し,最先端のオフラインSA-ASRモデルに匹敵する,あるいは時として優れた結果が得られる。
  論文  参考訳（メタデータ） (2022-03-30T21:42:00Z)
• VQMIVC: Vector Quantization and Mutual Information-Based Unsupervised Speech Representation Disentanglement for One-shot Voice Conversion [54.29557210925752]
  ワンショット音声変換は、音声表現のアンタングルメントによって効果的に実現できる。 コンテンツエンコーディングにはベクトル量子化(VQ)を使用し、トレーニング中に相互情報(MI)を相関指標として導入する。 実験結果は,提案手法が効果的に非絡み合った音声表現を学習する際の優位性を反映している。
  論文  参考訳（メタデータ） (2021-06-18T13:50:38Z)
• A Machine of Few Words -- Interactive Speaker Recognition with Reinforcement Learning [35.36769027019856]
  対話型話者認識(ISR)と呼ばれる自動話者認識のための新しいパラダイムを提案する。 このパラダイムでは、個人化された発話をリクエストすることで、話者の表現を段階的に構築することを目的としている。 提案手法は,音声信号量が少ない場合に優れた性能が得られることを示す。
  論文  参考訳（メタデータ） (2020-08-07T12:44:08Z)
• Joint Speaker Counting, Speech Recognition, and Speaker Identification for Overlapped Speech of Any Number of Speakers [38.3469744871394]
  エンドツーエンドの話者分散音声認識モデルを提案する。 重複した音声における話者カウント、音声認識、話者識別を統一する。
  論文  参考訳（メタデータ） (2020-06-19T02:05:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。