論文の概要: Multi-Stage Speaker Diarization for Noisy Classrooms

• arxiv url: http://arxiv.org/abs/2505.10879v2
• Date: Tue, 27 May 2025 06:02:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 14:37:19.457931
• Title: Multi-Stage Speaker Diarization for Noisy Classrooms
• Title（参考訳）: 雑音のある教室におけるマルチステージ話者ダイアリゼーション
• Authors: Ali Sartaz Khan, Tolulope Ogunremi, Ahmed Adel Attia, Dorottya Demszky,
• Abstract要約: 本研究では,NvidiaのNeMoダイアリゼーションパイプラインを用いた多段ダイアリゼーションモデルの有効性を検討した。 ダイアリゼーション精度に対する聴覚の影響を評価し,様々な音声活動検出モデルを比較した。 また、フレームレベルのVAD予測と自動音声認識(ASR)ワードレベルのタイムスタンプを統合するハイブリッドVAD手法についても検討する。
• 参考スコア（独自算出の注目度）: 1.4549461207028445
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Speaker diarization, the process of identifying "who spoke when" in audio recordings, is essential for understanding classroom dynamics. However, classroom settings present distinct challenges, including poor recording quality, high levels of background noise, overlapping speech, and the difficulty of accurately capturing children's voices. This study investigates the effectiveness of multi-stage diarization models using Nvidia's NeMo diarization pipeline. We assess the impact of denoising on diarization accuracy and compare various voice activity detection (VAD) models, including self-supervised transformer-based frame-wise VAD models. We also explore a hybrid VAD approach that integrates Automatic Speech Recognition (ASR) word-level timestamps with frame-level VAD predictions. We conduct experiments using two datasets from English speaking classrooms to separate teacher vs. student speech and to separate all speakers. Our results show that denoising significantly improves the Diarization Error Rate (DER) by reducing the rate of missed speech. Additionally, training on both denoised and noisy datasets leads to substantial performance gains in noisy conditions. The hybrid VAD model leads to further improvements in speech detection, achieving a DER as low as 17% in teacher-student experiments and 45% in all-speaker experiments. However, we also identified trade-offs between voice activity detection and speaker confusion. Overall, our study highlights the effectiveness of multi-stage diarization models and integrating ASR-based information for enhancing speaker diarization in noisy classroom environments.
• Abstract（参考訳）: 話者ダイアリゼーションは、音声録音において「誰がいつ話したか」を識別するプロセスであり、教室のダイナミクスを理解するのに不可欠である。 しかし, 教室環境は, 録音品質の低下, 高レベルの背景雑音, 重複した発話, 子供の声を正確に捉えることの難しさなど, 独特な課題を呈している。 本研究では,NvidiaのNeMoダイアリゼーションパイプラインを用いた多段ダイアリゼーションモデルの有効性を検討した。 自己教師型トランスフォーマーを用いたフレームワイドVADモデルを含む,様々な音声活動検出(VAD)モデルとの比較を行った。 また、フレームレベルのVAD予測と自動音声認識(ASR)ワードレベルのタイムスタンプを統合するハイブリッドVAD手法についても検討する。 英語教室の2つのデータセットを用いて,教師と生徒の発話を分離し,すべての話者を分離する実験を行った。 以上の結果から,聴覚障害者の発話誤り率(DER)を大幅に改善し,失語率を低下させることが示唆された。 さらに、ノイズのあるデータセットとノイズの多いデータセットのトレーニングは、ノイズの多い条件下での大幅なパフォーマンス向上につながります。 ハイブリッドなVADモデルは、音声検出のさらなる改善をもたらし、教師-学生実験では17%、全話者実験では45%という低水準のDERを達成する。 しかし,音声活動検出と話者混同のトレードオフも確認した。 本研究は,多段階ダイアリゼーションモデルの有効性と,雑音の多い教室環境における話者ダイアリゼーション向上のためのASR情報の統合について述べる。

関連論文リスト

• Noise-Robust Target-Speaker Voice Activity Detection Through Self-Supervised Pretraining [21.26555178371168]
  ターゲット話者音声活動検出(Target-Speaker Voice Activity Detection、TS-VAD)は、音声フレーム内の既知のターゲット話者から音声の存在を検出するタスクである。 ディープニューラルネットワークベースのモデルは、このタスクで優れたパフォーマンスを示している。 雑音条件下でのTS-VAD性能を向上させるための、因果的自己監視学習(SSL)事前トレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-06T18:00:14Z)
• Robust Active Speaker Detection in Noisy Environments [29.785749048315616]
  雑音環境下での頑健なアクティブ話者検出(rASD)問題を定式化する。 既存のASDアプローチは、音声と視覚の両モードを利用するが、周囲の環境における非音声は、性能に悪影響を及ぼす可能性がある。 雑音のない音声特徴を学習するためのガイダンスとして,音声・視覚的音声分離を利用した新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-27T20:52:30Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• Sources of Noise in Dialogue and How to Deal with Them [63.02707014103651]
  トレーニング対話システムは、ノイズの多いトレーニング例や予期しないユーザ入力を扱うことが多い。 その頻度にもかかわらず、現在、対話ノイズの正確な調査が欠けている。 本稿では,対話システムで発生する雑音の分類を初めて構築することによって,このギャップを解消する。
  論文  参考訳（メタデータ） (2022-12-06T04:36:32Z)
• Self-Supervised Learning for speech recognition with Intermediate layer supervision [52.93758711230248]
  自己教師付き学習(ILS-SSL)のための中間層スーパービジョンを提案する。 ILS-SSLは、中間層にSSL損失を追加することで、可能な限りコンテンツ情報に集中させます。 LibriSpeech の他のテストセットの実験により,本手法は HuBERT を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-12-16T10:45:05Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Robust Speaker Recognition Using Speech Enhancement And Attention Model [37.33388614967888]
  音声強調と話者認識を個別に処理する代わりに、ディープニューラルネットワークを用いた共同最適化により、2つのモジュールを1つのフレームワークに統合する。 雑音に対するロバスト性を高めるため、時間と周波数領域のコンテキスト情報から得られた話者関連特徴を強調するために、多段階アテンション機構を用いる。 その結果,音声強調モデルと多段階アテンションモデルを用いた提案手法は,実験のほとんどの音響条件下では使用しない2つの強いベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2020-01-14T20:03:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。