論文の概要: Speech Enhancement and Dereverberation with Diffusion-based Generative Models

• arxiv url: http://arxiv.org/abs/2208.05830v2
• Date: Tue, 13 Jun 2023 11:30:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 18:33:13.687753
• Title: Speech Enhancement and Dereverberation with Diffusion-based Generative Models
• Title（参考訳）: 拡散に基づく生成モデルによる音声強調とデバーベレーション
• Authors: Julius Richter, Simon Welker, Jean-Marie Lemercier, Bunlong Lay, Timo Gerkmann
• Abstract要約: 本稿では,微分方程式に基づく拡散過程について概説する。 提案手法により,30段階の拡散しか行わず,高品質なクリーン音声推定が可能であることを示す。 大規模なクロスデータセット評価では、改良された手法が近年の識別モデルと競合することを示す。
• 参考スコア（独自算出の注目度）: 14.734454356396157
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work, we build upon our previous publication and use diffusion-based generative models for speech enhancement. We present a detailed overview of the diffusion process that is based on a stochastic differential equation and delve into an extensive theoretical examination of its implications. Opposed to usual conditional generation tasks, we do not start the reverse process from pure Gaussian noise but from a mixture of noisy speech and Gaussian noise. This matches our forward process which moves from clean speech to noisy speech by including a drift term. We show that this procedure enables using only 30 diffusion steps to generate high-quality clean speech estimates. By adapting the network architecture, we are able to significantly improve the speech enhancement performance, indicating that the network, rather than the formalism, was the main limitation of our original approach. In an extensive cross-dataset evaluation, we show that the improved method can compete with recent discriminative models and achieves better generalization when evaluating on a different corpus than used for training. We complement the results with an instrumental evaluation using real-world noisy recordings and a listening experiment, in which our proposed method is rated best. Examining different sampler configurations for solving the reverse process allows us to balance the performance and computational speed of the proposed method. Moreover, we show that the proposed method is also suitable for dereverberation and thus not limited to additive background noise removal. Code and audio examples are available online, see https://github.com/sp-uhh/sgmse
• Abstract（参考訳）: 本稿では,これまでの論文をもとに,拡散型生成モデルを用いて音声強調を行う。 本稿では,確率微分方程式に基づく拡散過程の詳細な概観と,その意義に関する広範な理論的考察について述べる。 通常の条件生成タスクに対して、純粋なガウス雑音から逆処理を開始するのではなく、うるさい音声とガウス雑音の混合から始める。 これは、漂流語を含むことによって、清潔な音声から騒々しい音声へと移動する我々の前処理と一致する。 この手法により,30段階の拡散しか行わず,高品質なクリーン音声推定が可能であることを示す。 ネットワークアーキテクチャを適応させることで、音声強調性能を大幅に改善することができ、フォーマリズムではなくネットワークが元のアプローチの主な限界であったことを示す。 広範なクロスデータセット評価において,改良された手法は,近年の識別モデルと競合し,訓練用と異なるコーパス上で評価する場合の一般化が向上することを示す。 提案手法は,実世界のノイズ記録を用いたインストゥルメンタル評価と,提案手法が最良であるリスニング実験で補完する。 逆過程を解くために異なるサンプル構成を調べることで,提案手法の性能と計算速度のバランスをとることができる。 さらに,提案手法は残響の除去にも適しており,付加的な背景雑音除去に限らないことを示す。 コードとオーディオの例はオンラインで入手できる(https://github.com/sp-uhh/sgmse)。

関連論文リスト

• Diffusion-based Unsupervised Audio-visual Speech Enhancement [26.937216751657697]
  本稿では,新しい教師なし音声強調(AVSE)手法を提案する。 拡散に基づく音声視覚音声生成モデルと非負行列分解(NMF)ノイズモデルを組み合わせる。 実験結果から,提案手法は音声のみのアプローチより優れているだけでなく,近年の教師付き AVSE 法よりも優れていたことが確認された。
  論文  参考訳（メタデータ） (2024-10-04T12:22:54Z)
• Diffusion-based speech enhancement with a weighted generative-supervised learning loss [0.0]
  拡散に基づく生成モデルは近年,音声強調(SE)において注目を集めている。 そこで本研究では,従来の拡散訓練目標を平均二乗誤差(MSE)損失で拡張することを提案する。
  論文  参考訳（メタデータ） (2023-09-19T09:13:35Z)
• Unsupervised speech enhancement with diffusion-based generative models [0.0]
  拡散モデルの生成力を生かし、教師なしの方法で機能する代替手法を提案する。 本研究では,学習したクリーン音声と音声信号推論のための雑音モデルを組み合わせることで,音声強調のための後部サンプリング手法を開発した。 近年の変分オートエンコーダ (VAE) による教師なし手法と, 最先端の拡散型教師方式と比較して, 有望な結果が得られた。
  論文  参考訳（メタデータ） (2023-09-19T09:11:31Z)
• Single and Few-step Diffusion for Generative Speech Enhancement [18.487296462927034]
  拡散モデルは音声強調において有望な結果を示した。 本稿では,2段階の学習手法を用いて,これらの制約に対処する。 提案手法は定常的な性能を保ち,従って拡散ベースラインよりも大きく向上することを示す。
  論文  参考訳（メタデータ） (2023-09-18T11:30:58Z)
• DiffSED: Sound Event Detection with Denoising Diffusion [70.18051526555512]
  生成学習の観点からSED問題を再構築する。 具体的には,騒音拡散過程において,雑音のある提案から音の時間境界を生成することを目的としている。 トレーニング中は,ノイズの多い遅延クエリを基本バージョンに変換することで,ノイズ発生過程の逆転を学習する。
  論文  参考訳（メタデータ） (2023-08-14T17:29:41Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)
• A Study on Speech Enhancement Based on Diffusion Probabilistic Model [63.38586161802788]
  雑音信号からクリーンな音声信号を復元することを目的とした拡散確率モデルに基づく音声強調モデル(DiffuSE)を提案する。 実験結果から、DiffuSEは、標準化されたVoice Bankコーパスタスクにおいて、関連する音声生成モデルに匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-07-25T19:23:18Z)
• Non Gaussian Denoising Diffusion Models [91.22679787578438]
  ガンマ分布からのノイズは、画像および音声生成のための改善された結果をもたらすことを示す。 また,拡散過程におけるガウス雑音の混合を用いることで,単一分布に基づく拡散過程における性能が向上することを示す。
  論文  参考訳（メタデータ） (2021-06-14T16:42:43Z)
• Simultaneous Denoising and Dereverberation Using Deep Embedding Features [64.58693911070228]
  ディープ埋め込み特徴を用いた同時発声・発声同時学習法を提案する。 ノイズ発生段階では、DCネットワークを利用してノイズのないディープ埋込み特性を抽出する。 残響段階では、教師なしのK平均クラスタリングアルゴリズムの代わりに、別のニューラルネットワークを用いて無響音声を推定する。
  論文  参考訳（メタデータ） (2020-04-06T06:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。