論文の概要: Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
- arxiv url: http://arxiv.org/abs/2404.10842v1
- Date: Tue, 16 Apr 2024 18:40:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-18 18:12:17.201996
- Title: Unsupervised Speaker Diarization in Distributed IoT Networks Using Federated Learning
- Title（参考訳）: フェデレーションラーニングを用いた分散IoTネットワークにおける教師なし話者ダイアリゼーション
- Authors: Amit Kumar Bhuyan, Hrishikesh Dutta, Subir Biswas,
- Abstract要約: 本稿では,ネットワーク型IoTオーディオデバイスを対象とした,計算効率のよい分散話者ダイアリゼーションフレームワークを提案する。
フェデレートラーニングモデルは、トレーニングのための大規模なオーディオデータベースを必要とせずに、会話に参加する参加者を特定することができる。
話者埋め込みのコサイン類似性に依存するフェデレートラーニングモデルに対して、教師なしオンライン更新機構を提案する。
- 参考スコア（独自算出の注目度）: 2.3076690318595676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a computationally efficient and distributed speaker diarization framework for networked IoT-style audio devices. The work proposes a Federated Learning model which can identify the participants in a conversation without the requirement of a large audio database for training. An unsupervised online update mechanism is proposed for the Federated Learning model which depends on cosine similarity of speaker embeddings. Moreover, the proposed diarization system solves the problem of speaker change detection via. unsupervised segmentation techniques using Hotelling's t-squared Statistic and Bayesian Information Criterion. In this new approach, speaker change detection is biased around detected quasi-silences, which reduces the severity of the trade-off between the missed detection and false detection rates. Additionally, the computational overhead due to frame-by-frame identification of speakers is reduced via. unsupervised clustering of speech segments. The results demonstrate the effectiveness of the proposed training method in the presence of non-IID speech data. It also shows a considerable improvement in the reduction of false and missed detection at the segmentation stage, while reducing the computational overhead. Improved accuracy and reduced computational cost makes the mechanism suitable for real-time speaker diarization across a distributed IoT audio network.
- Abstract（参考訳）: 本稿では,ネットワーク型IoTオーディオデバイスを対象とした,計算効率のよい分散話者ダイアリゼーションフレームワークを提案する。
本研究は,大規模オーディオデータベースを必要とせずに会話に参加する参加者を識別するフェデレート学習モデルを提案する。
話者埋め込みのコサイン類似性に依存するフェデレートラーニングモデルに対して、教師なしオンライン更新機構を提案する。
さらに, ダイアリゼーションシステムでは, 話者変化検出の課題を解決している。
ホテルリングの t-squared Statistic と Bayesian Information Criterion を用いた教師なしセグメンテーション手法。
この新しいアプローチでは、検出された準サイレンスの周りに話者変化検出が偏り、ミス検出と誤検出率の間のトレードオフの深刻度が低下する。
さらに、話者のフレーム単位の識別による計算オーバーヘッドを減らした。
教師なしの音声セグメントのクラスタリング。
その結果,非IID音声データの存在下でのトレーニング手法の有効性が示された。
また、計算オーバーヘッドを低減しつつ、セグメント化段階での誤検出と誤検出の低減も大幅に改善された。
精度の向上と計算コストの削減により、このメカニズムは分散IoTオーディオネットワークにおけるリアルタイム話者ダイアリゼーションに適している。
関連論文リスト
- Robust Channel Learning for Large-Scale Radio Speaker Verification [30.332141166518287]
本稿では,現在の話者検証パイプラインの堅牢性を高めるために,Channel Robust Speaker Learning (CRSL) フレームワークを提案する。
本フレームワークでは,無線音声データセットの帯域幅変動を緩和する拡張モジュールを導入する。
また、大規模なトレーニング時間と大量のデータの必要性を低減できる効率的な微調整手法を提案する。
論文 参考訳（メタデータ） (2024-06-16T14:17:57Z) - Leveraging Visual Supervision for Array-based Active Speaker Detection
and Localization [3.836171323110284]
簡単な音声畳み込みリカレントニューラルネットワークにより,水平型アクティブ話者検出と局所化を同時に行うことができることを示す。
本稿では,生徒の学習アプローチを取り入れた,自己指導型学習パイプラインを提案する。
論文 参考訳（メタデータ） (2023-12-21T16:53:04Z) - What to Remember: Self-Adaptive Continual Learning for Audio Deepfake
Detection [53.063161380423715]
既存の検出モデルは、既知のディープフェイク音声を識別することに成功したが、新しい攻撃タイプに遭遇する際には苦労している。
本稿では,Radian Weight Modification (RWM) と呼ばれる連続的な学習手法を提案する。
論文 参考訳（メタデータ） (2023-12-15T09:52:17Z) - Self-supervised Fine-tuning for Improved Content Representations by
Speaker-invariant Clustering [78.2927924732142]
話者不変クラスタリング(Spin)を自己教師付き学習手法として提案する。
Spinは、単一のGPU上で45分間の微調整で、スピーカー情報を切り離し、コンテンツ表現を保存する。
論文 参考訳（メタデータ） (2023-05-18T15:59:36Z) - Improved Relation Networks for End-to-End Speaker Verification and
Identification [0.0]
話者識別システムは、少数のサンプルが与えられた一連の登録話者の中から話者を識別する。
話者検証と少数ショット話者識別のための改良された関係ネットワークを提案する。
話者検証におけるプロトタイプネットワークの利用に触発されて、トレーニングセットに存在するすべての話者のうち、現在のエピソードのサンプルを分類するようにモデルを訓練する。
論文 参考訳（メタデータ） (2022-03-31T17:44:04Z) - End-to-End Diarization for Variable Number of Speakers with Local-Global
Networks and Discriminative Speaker Embeddings [66.50782702086575]
本論文では,単一チャンネルの音声記録から会議ダイアリゼーションを行う,エンドツーエンドのディープネットワークモデルを提案する。
提案システムは,可変数の置換不変なクロスエントロピーに基づく損失関数を用いて,未知数の話者とのミーティングを処理するように設計されている。
論文 参考訳（メタデータ） (2021-05-05T14:55:29Z) - Personalized Keyphrase Detection using Speaker and Environment
Information [24.766475943042202]
単語からなるフレーズを大きな語彙から正確に検出するために、簡単にカスタマイズできるストリーミングキーフレーズ検出システムを紹介します。
本システムは,エンドツーエンドで訓練された自動音声認識(ASR)モデルと,テキスト非依存話者検証モデルを用いて実装される。
論文 参考訳（メタデータ） (2021-04-28T18:50:19Z) - Bayesian Learning for Deep Neural Network Adaptation [57.70991105736059]
音声認識システムにおける重要な課題は、しばしば話者差に起因する訓練データと評価データとのミスマッチを減らすことである。
モデルに基づく話者適応手法は、ロバスト性を確保するために十分な量のターゲット話者データを必要とすることが多い。
本稿では,話者依存型(SD)パラメータの不確かさをモデル化するための,ベイズ学習に基づくDNN話者適応フレームワークを提案する。
論文 参考訳（メタデータ） (2020-12-14T12:30:41Z) - Augmentation adversarial training for self-supervised speaker
recognition [49.47756927090593]
話者ラベルのない頑健な話者認識モデルを訓練する。
VoxCelebとVOiCESデータセットの実験は、セルフスーパービジョンを使用した以前の作業よりも大幅に改善されている。
論文 参考訳（メタデータ） (2020-07-23T15:49:52Z) - Sparse Mixture of Local Experts for Efficient Speech Enhancement [19.645016575334786]
本稿では,専門的ニューラルネットワークの効率的なアンサンブルを通して,音声を聴覚的に認識するためのディープラーニング手法について検討する。
タスクを重複しないサブプロブレムに分割することで、計算複雑性を低減しつつ、デノナイジング性能を向上させることができる。
以上の結果から,微調整されたアンサンブルネットワークは,一般のネットワークの発声能力を上回ることができることがわかった。
論文 参考訳（メタデータ） (2020-05-16T23:23:22Z) - Semi-supervised Learning for Multi-speaker Text-to-speech Synthesis
Using Discrete Speech Representation [125.59372403631006]
マルチ話者テキスト音声(TTS)のための半教師付き学習手法を提案する。
マルチスピーカTTSモデルは、離散音声表現を備えたエンコーダデコーダフレームワークを用いて、未転写音声から学習することができる。
提案した半教師あり学習手法は,音声データの一部がうるさい場合にも有効であることがわかった。
論文 参考訳（メタデータ） (2020-05-16T15:47:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。