論文の概要: Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation

• arxiv url: http://arxiv.org/abs/2409.01545v1
• Date: Tue, 3 Sep 2024 02:29:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-06 03:21:06.673570
• Title: Effective Noise-aware Data Simulation for Domain-adaptive Speech Enhancement Leveraging Dynamic Stochastic Perturbation
• Title（参考訳）: 動的確率摂動を利用したドメイン適応音声強調のための効果的な雑音認識データシミュレーション
• Authors: Chien-Chun Wang, Li-Wei Chen, Hung-Shin Lee, Berlin Chen, Hsin-Min Wang,
• Abstract要約: クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により、しばしば深刻な課題に直面している。 本研究では,ノイズ抽出技術とGANを利用した新しいデータシミュレーション手法を提案する。 本研究では,動的摂動の概念を導入し,制御された摂動を推論中の雑音埋め込みに注入する。
• 参考スコア（独自算出の注目度）: 25.410770364140856
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Cross-domain speech enhancement (SE) is often faced with severe challenges due to the scarcity of noise and background information in an unseen target domain, leading to a mismatch between training and test conditions. This study puts forward a novel data simulation method to address this issue, leveraging noise-extractive techniques and generative adversarial networks (GANs) with only limited target noisy speech data. Notably, our method employs a noise encoder to extract noise embeddings from target-domain data. These embeddings aptly guide the generator to synthesize utterances acoustically fitted to the target domain while authentically preserving the phonetic content of the input clean speech. Furthermore, we introduce the notion of dynamic stochastic perturbation, which can inject controlled perturbations into the noise embeddings during inference, thereby enabling the model to generalize well to unseen noise conditions. Experiments on the VoiceBank-DEMAND benchmark dataset demonstrate that our domain-adaptive SE method outperforms an existing strong baseline based on data simulation.
• Abstract（参考訳）: クロスドメイン音声強調(SE)は、目に見えない対象領域におけるノイズや背景情報の不足により深刻な課題に直面し、トレーニングとテスト条件のミスマッチを引き起こす。 本研究は、雑音抽出技術とGAN(Generative Adversarial Network)を利用して、限られた雑音音声データのみを用いて、この問題に対処する新しいデータシミュレーション手法を提案する。 特に,本手法ではノイズエンコーダを用いて,対象領域データからノイズ埋め込みを抽出する。 これらの埋め込みは、入力されたクリーン音声の音声内容を保持しつつ、生成元を適宜誘導し、ターゲット領域に音響的に適合した発話を合成する。 さらに, 動的確率摂動の概念を導入し, 予測中の雑音埋め込みに制御された摂動を注入することにより, 未知の雑音条件に対してモデルがうまく一般化できるようにする。 VoiceBank-DEMANDベンチマークデータセットの実験により、我々のドメイン適応型SEメソッドは、データシミュレーションに基づいて、既存の強力なベースラインを上回ります。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Towards Robust and Generalizable Training: An Empirical Study of Noisy Slot Filling for Input Perturbations [38.766702041991046]
  スロット充足作業のためのノイズ-SFというノイズロバスト性評価データセットを提案する。 提案するデータセットには,5種類の人称アノテートノイズが含まれている。 ベースラインモデルはロバスト性評価において性能が劣ることがわかった。
  論文  参考訳（メタデータ） (2023-10-05T12:59:57Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• Realistic Noise Synthesis with Diffusion Models [68.48859665320828]
  Deep Image Denoisingモデルは、しばしば高品質なパフォーマンスのために大量のトレーニングデータに依存します。 本稿では,拡散モデル,すなわちRealistic Noise Synthesize Diffusor(RNSD)を用いて現実的な雑音を合成する新しい手法を提案する。 RNSDは、より現実的なノイズや空間的相関を複数の周波数で生成できるような、ガイド付きマルチスケールコンテンツを組み込むことができる。
  論文  参考訳（メタデータ） (2023-05-23T12:56:01Z)
• Unsupervised Noise adaptation using Data Simulation [21.866522173387715]
  本稿では,逆クリーン・ノイズ変換を効率よく学習するための生成逆ネットワークに基づく手法を提案する。 実験結果から,本手法はトレーニングセットとテストセット間のドメインミスマッチを効果的に軽減することが示された。
  論文  参考訳（メタデータ） (2023-02-23T12:57:20Z)
• NLIP: Noise-robust Language-Image Pre-training [95.13287735264937]
  雑音調和と雑音補完という2つの手法を用いて事前学習の安定化を図るため,NLIPの原理的手法を提案する。 我々のNLIPは、画像テキスト事前学習における一般的なノイズ効果をより効率的に軽減することができる。
  論文  参考訳（メタデータ） (2022-12-14T08:19:30Z)
• Inference and Denoise: Causal Inference-based Neural Speech Enhancement [83.4641575757706]
  本研究では、雑音の存在を介入としてモデル化することにより、因果推論パラダイムにおける音声強調(SE)課題に対処する。 提案した因果推論に基づく音声強調(CISE)は,ノイズ検出器を用いて間欠雑音音声中のクリーンフレームとノイズフレームを分離し,両フレームセットを2つのマスクベース拡張モジュール(EM)に割り当て,ノイズ条件SEを実行する。
  論文  参考訳（メタデータ） (2022-11-02T15:03:50Z)
• NASTAR: Noise Adaptive Speech Enhancement with Target-Conditional Resampling [34.565077865854484]
  ターゲット条件再サンプリング(NASTAR)を用いた雑音適応音声強調手法を提案する。 NASTARはフィードバック機構を使用して、ノイズ抽出器と検索モデルを介して適応的なトレーニングデータをシミュレートする。 実験結果から,NASTARは1つの雑音のある音声サンプルを効果的に使用して,SEモデルを目標条件に適応させることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-18T00:15:48Z)
• Dynamic Layer Customization for Noise Robust Speech Emotion Recognition in Heterogeneous Condition Training [16.807298318504156]
  ノイズ条件毎に,サンプルを特殊特徴エンコーダに動的にルーティングすることで,性能を向上できることを示す。 時間的順序付けを動的にルーティングすることで,これらの改善をマルチモーダル設定に拡張する。
  論文  参考訳（メタデータ） (2020-10-21T18:07:32Z)
• Simultaneous Denoising and Dereverberation Using Deep Embedding Features [64.58693911070228]
  ディープ埋め込み特徴を用いた同時発声・発声同時学習法を提案する。 ノイズ発生段階では、DCネットワークを利用してノイズのないディープ埋込み特性を抽出する。 残響段階では、教師なしのK平均クラスタリングアルゴリズムの代わりに、別のニューラルネットワークを用いて無響音声を推定する。
  論文  参考訳（メタデータ） (2020-04-06T06:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。