論文の概要: Developing an Effective Training Dataset to Enhance the Performance of AI-based Speaker Separation Systems

• arxiv url: http://arxiv.org/abs/2411.08375v1
• Date: Wed, 13 Nov 2024 06:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-14 16:10:17.804895
• Title: Developing an Effective Training Dataset to Enhance the Performance of AI-based Speaker Separation Systems
• Title（参考訳）: AIに基づく話者分離システムの性能向上のための効果的なトレーニングデータセットの開発
• Authors: Rawad Melhem, Assef Jafar, Oumayma Al Dakkak,
• Abstract要約: 本稿では,各話者に対して,混合信号と対応する接地真実を含む現実的な学習セットを構築するための新しい手法を提案する。 実感混合における話者分離精度向上のためのSI-SDR(Scale Invariant Signal to Distortion Ratio)を1.65dB改善した。
• 参考スコア（独自算出の注目度）: 0.3277163122167434
• License:
• Abstract: This paper addresses the challenge of speaker separation, which remains an active research topic despite the promising results achieved in recent years. These results, however, often degrade in real recording conditions due to the presence of noise, echo, and other interferences. This is because neural models are typically trained on synthetic datasets consisting of mixed audio signals and their corresponding ground truths, which are generated using computer software and do not fully represent the complexities of real-world recording scenarios. The lack of realistic training sets for speaker separation remains a major hurdle, as obtaining individual sounds from mixed audio signals is a nontrivial task. To address this issue, we propose a novel method for constructing a realistic training set that includes mixture signals and corresponding ground truths for each speaker. We evaluate this dataset on a deep learning model and compare it to a synthetic dataset. We got a 1.65 dB improvement in Scale Invariant Signal to Distortion Ratio (SI-SDR) for speaker separation accuracy in realistic mixing. Our findings highlight the potential of realistic training sets for enhancing the performance of speaker separation models in real-world scenarios.
• Abstract（参考訳）: 本稿では,近年の有望な成果にもかかわらず,引き続き活発な研究課題である話者分離の課題に対処する。 しかし、これらの結果はしばしばノイズ、エコー、その他の干渉により実際の記録条件で劣化する。 これは、ニューラルネットワークが典型的には、混合オーディオ信号とそれに対応する地上の真実からなる合成データセットに基づいて訓練されるためであり、これはコンピュータソフトウェアを用いて生成され、実際の記録シナリオの複雑さを完全に表現していないためである。 話者分離のための現実的な訓練セットの欠如は、混合音声信号から個別の音を取得することは、非自明な作業であるため、依然として大きなハードルとなっている。 この問題に対処するために,各話者に対して,混合信号と対応する接地真実を含む現実的な学習セットを構築する手法を提案する。 このデータセットをディープラーニングモデルで評価し、合成データセットと比較する。 実感混合における話者分離精度向上のためのSI-SDR(Scale Invariant Signal to Distortion Ratio)を1.65dB改善した。 本研究は,現実のシナリオにおける話者分離モデルの性能向上のための現実的なトレーニングセットの可能性を明らかにするものである。

関連論文リスト

• Improving Generalization of Speech Separation in Real-World Scenarios: Strategies in Simulation, Optimization, and Evaluation [45.76004686788507]
  本研究では,様々な環境やコンテンツから多様なトレーニングデータを生成する新しいデータシミュレーションパイプラインを提案する。 一般的な音声分離モデルの品質向上のための新しい訓練パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-08-28T20:26:34Z)
• Contrastive Learning from Synthetic Audio Doppelgangers [1.3754952818114714]
  合成音声を利用したデータスケールと変換の制限に対する解決策を提案する。 音声合成器のパラメータをランダムに摂動することで、音色、ピッチ、時間的エンベロープの因果的に操作された変化を持つオーディオ・ドッペルグ・アンガー合成正ペアを生成する。 ランダムに生成された合成データへのシフトにもかかわらず,本手法は,標準音声分類ベンチマークにおける実データと競合する強力な表現を生成する。
  論文  参考訳（メタデータ） (2024-06-09T21:44:06Z)
• Real Acoustic Fields: An Audio-Visual Room Acoustics Dataset and Benchmark [65.79402756995084]
  Real Acoustic Fields (RAF)は、複数のモードから実際の音響室データをキャプチャする新しいデータセットである。 RAFは密集した室内音響データを提供する最初のデータセットである。
  論文  参考訳（メタデータ） (2024-03-27T17:59:56Z)
• Self-Supervised Visual Acoustic Matching [63.492168778869726]
  音響マッチングは、ターゲットの音響環境に録音されたかのように、音声クリップを再合成することを目的としている。 そこで本研究では,対象のシーン画像と音声のみを含む,視覚的音響マッチングのための自己教師型アプローチを提案する。 提案手法は,条件付きGANフレームワークと新しいメトリクスを用いて,室内音響をアンタングル化し,音をターゲット環境に再合成する方法を共同で学習する。
  論文  参考訳（メタデータ） (2023-07-27T17:59:59Z)
• End-to-End Binaural Speech Synthesis [71.1869877389535]
  本稿では,低ビットレート音声システムと強力なデコーダを組み合わせたエンドツーエンド音声合成システムを提案する。 実感的な聴覚シーンを作るために必要な環境効果を捉える上で, 対人的損失がもたらす効果を実証する。
  論文  参考訳（メタデータ） (2022-07-08T05:18:36Z)
• On monoaural speech enhancement for automatic recognition of real noisy speech using mixture invariant training [33.79711018198589]
  既存の混合不変訓練基準を拡張して、未ペア音声と実雑音データの両方を利用する。 実雑音音声から分離した音声の品質を向上させるためには, 未ペアクリーン音声が不可欠であることがわかった。 提案手法は、処理成果物を軽減するために、処理された信号と処理されていない信号のリミックスも行う。
  論文  参考訳（メタデータ） (2022-05-03T19:37:58Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• Bridging the Gap Between Clean Data Training and Real-World Inference for Spoken Language Understanding [76.89426311082927]
  既存のモデルはクリーンデータに基づいてトレーニングされ、クリーンデータトレーニングと現実世界の推論の間にtextitgapが発生する。 本稿では,良質なサンプルと低品質のサンプルの両方が類似ベクトル空間に埋め込まれた領域適応法を提案する。 広く使用されているデータセット、スニップス、および大規模な社内データセット(1000万のトレーニング例)に関する実験では、この方法は実世界の(騒々しい)コーパスのベースラインモデルを上回るだけでなく、堅牢性、すなわち、騒々しい環境下で高品質の結果を生み出すことを実証しています。
  論文  参考訳（メタデータ） (2021-04-13T17:54:33Z)
• Multimodal Attention Fusion for Target Speaker Extraction [108.73502348754842]
  マルチモーダル核融合のための新しい注意機構とその訓練方法を提案する。 シミュレーションデータに対する従来の核融合機構よりも,信号対歪み比(SDR)を1.0dB向上させる。
  論文  参考訳（メタデータ） (2021-02-02T05:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。