論文の概要: Towards Word-Level End-to-End Neural Speaker Diarization with Auxiliary Network

• arxiv url: http://arxiv.org/abs/2309.08489v1
• Date: Fri, 15 Sep 2023 15:48:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 14:03:15.406712
• Title: Towards Word-Level End-to-End Neural Speaker Diarization with Auxiliary Network
• Title（参考訳）: 補助的ネットワークを用いた単語レベル終端ニューラルスピーカダイアリゼーションに向けて
• Authors: Yiling Huang, Weiran Wang, Guanlong Zhao, Hank Liao, Wei Xia, Quan Wang
• Abstract要約: 補助的ネットワークを用いたワードレベル終端ニューラルダイアリゼーション(WEEND)を提案する。 WEENDは高品質なダイアリゼーションテキストを提供する可能性を秘めている。
• 参考スコア（独自算出の注目度）: 28.661704280484457
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While standard speaker diarization attempts to answer the question "who spoken when", most of relevant applications in reality are more interested in determining "who spoken what". Whether it is the conventional modularized approach or the more recent end-to-end neural diarization (EEND), an additional automatic speech recognition (ASR) model and an orchestration algorithm are required to associate the speaker labels with recognized words. In this paper, we propose Word-level End-to-End Neural Diarization (WEEND) with auxiliary network, a multi-task learning algorithm that performs end-to-end ASR and speaker diarization in the same neural architecture. That is, while speech is being recognized, speaker labels are predicted simultaneously for each recognized word. Experimental results demonstrate that WEEND outperforms the turn-based diarization baseline system on all 2-speaker short-form scenarios and has the capability to generalize to audio lengths of 5 minutes. Although 3+speaker conversations are harder, we find that with enough in-domain training data, WEEND has the potential to deliver high quality diarized text.
• Abstract（参考訳）: 標準話者ダイアリゼーションは「誰がいつ話したか」という問いに答えようとするが、現実のほとんどの関連アプリケーションは「誰が何を話したか」を決定することに関心を持っている。 従来のモジュール化アプローチであろうと、より最近のエンドツーエンドのニューラルダイアリゼーション(EEND)であろうと、話者ラベルと認識された単語を関連付けるために、追加の自動音声認識(ASR)モデルとオーケストレーションアルゴリズムが必要である。 本稿では,同じニューラルネットワークにおいて,エンドツーエンドのasrと話者ダイアリゼーションを行うマルチタスク学習アルゴリズムである assistant network を用いて,単語レベルのエンドツーエンドニューラルネットワークダイアリゼーション (weend) を提案する。 すなわち、音声認識中は、音声認識された単語毎に話者ラベルを同時に予測する。 実験結果から, WEENDは2話者のショートフォームシナリオすべてにおいて, ターンベースダイアリゼーションベースラインシステムより優れ, 音声長5分に一般化できることがわかった。 3人以上の会話は難しいが、十分なドメイン内トレーニングデータがあれば、WEENDは高品質なダイアリゼーションテキストを提供する可能性がある。

関連論文リスト

• Predictive Speech Recognition and End-of-Utterance Detection Towards Spoken Dialog Systems [55.99999020778169]
  本稿では,次の単語を予測し,発話終了まで残される時間を推定する機能について検討する。 我々は,音響情報と言語情報の両方を組み込んだクロスアテンションに基づくアルゴリズムを開発した。 その結果,提案モデルでは,提案する単語を予測し,将来のEOUイベントを実際のEOUより300ミリ秒前まで推定する能力を示した。
  論文  参考訳（メタデータ） (2024-09-30T06:29:58Z)
• One model to rule them all ? Towards End-to-End Joint Speaker Diarization and Speech Recognition [50.055765860343286]
  本稿では,共同話者ダイアリゼーションと音声認識のための新しい枠組みを提案する。 このフレームワークはSLIDARと呼ばれ、任意の長さの入力を処理でき、任意の数の話者を処理できる。 AMIコーパスからの単調録音実験により, 近接話者と遠距離話者の両方の発話シナリオにおける手法の有効性が確認された。
  論文  参考訳（メタデータ） (2023-10-02T23:03:30Z)
• Speaker Embedding-aware Neural Diarization: a Novel Framework for Overlapped Speech Diarization in the Meeting Scenario [51.5031673695118]
  重なり合う音声のダイアリゼーションを単一ラベル予測問題として再構成する。 話者埋め込み認識型ニューラルダイアリゼーション(SEND)システムを提案する。
  論文  参考訳（メタデータ） (2022-03-18T06:40:39Z)
• Transcribe-to-Diarize: Neural Speaker Diarization for Unlimited Number of Speakers using End-to-End Speaker-Attributed ASR [44.181755224118696]
  Transcribe-to-Diarizeは、エンド・ツー・エンド(E2E)話者による自動音声認識(SA-ASR)を用いたニューラルスピーカーダイアリゼーションの新しいアプローチである。 提案手法は,話者数不明の場合に,既存の話者ダイアリゼーション法よりも高いダイアリゼーション誤差率を実現する。
  論文  参考訳（メタデータ） (2021-10-07T02:48:49Z)
• Streaming Multi-talker Speech Recognition with Joint Speaker Identification [77.46617674133556]
  SURITは、音声認識と話者識別の両方のバックボーンとして、リカレントニューラルネットワークトランスデューサ(RNN-T)を採用しています。 Librispeechから派生したマルチストーカーデータセットであるLibrispeechデータセットに関するアイデアを検証し、奨励的な結果を提示した。
  論文  参考訳（メタデータ） (2021-04-05T18:37:33Z)
• U-vectors: Generating clusterable speaker embedding from unlabeled data [0.0]
  本稿では,未ラベルデータを扱う話者認識戦略を提案する。 小さな固定サイズの音声フレームからクラスタブルな埋め込みベクトルを生成する。 提案手法はペアワイズアーキテクチャを用いて優れた性能を実現する。
  論文  参考訳（メタデータ） (2021-02-07T18:00:09Z)
• A Review of Speaker Diarization: Recent Advances with Deep Learning [78.20151731627958]
  スピーカーダイアリゼーションは、スピーカーのアイデンティティに対応するクラスでオーディオまたはビデオ録画をラベル付けするタスクです。 ディープラーニング技術の台頭に伴い、話者ダイアリゼーションのためのさらなる急速な進歩がなされている。 話者ダイアリゼーションシステムが音声認識アプリケーションとどのように統合されているかについて議論する。
  論文  参考訳（メタデータ） (2021-01-24T01:28:05Z)
• Streaming Multi-speaker ASR with RNN-T [8.701566919381223]
  本研究は、リカレントニューラルネットワークトランスデューサ(RNN-T)に基づくマルチスピーカ音声認識に焦点を当てている。 RNN-Tの高レベル話者追跡能力を高めるために,前者における話者順ラベルの分離が重要であることを示す。 我々の最良モデルは、前述した最先端非ストリーミングモデル(10.3%)と競合する2話者Libriデータ上で10.2%のWERを達成する。
  論文  参考訳（メタデータ） (2020-11-23T19:10:40Z)
• Speech Enhancement using Self-Adaptation and Multi-Head Self-Attention [70.82604384963679]
  本稿では,補助的話者認識機能を用いた音声強調のための自己適応手法について検討する。 テスト発話から直接適応に用いる話者表現を抽出する。
  論文  参考訳（メタデータ） (2020-02-14T05:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。