論文の概要: Investigating the Design Space of Diffusion Models for Speech Enhancement

• arxiv url: http://arxiv.org/abs/2312.04370v2
• Date: Tue, 08 Oct 2024 12:50:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-10 14:25:06.652661
• Title: Investigating the Design Space of Diffusion Models for Speech Enhancement
• Title（参考訳）: 音声強調のための拡散モデルの設計空間の検討
• Authors: Philippe Gonzalez, Zheng-Hua Tan, Jan Østergaard, Jesper Jensen, Tommy Sonne Alstrøm, Tobias May,
• Abstract要約: 拡散モデルは、画像生成文学において優れた性能を示す新しい生成モデルである。 従来の拡散型音声強調システムの性能は、清潔な音声信号と雑音の多い音声信号の間の進行的な変換によるものではないことを示す。 また,プレコンディショニング,トレーニング損失重み付け,SDE,サンプル処理の適切な選択により,一般的な拡散に基づく音声強調システムよりも優れることを示す。
• 参考スコア（独自算出の注目度）: 17.914763947871368
• License:
• Abstract: Diffusion models are a new class of generative models that have shown outstanding performance in image generation literature. As a consequence, studies have attempted to apply diffusion models to other tasks, such as speech enhancement. A popular approach in adapting diffusion models to speech enhancement consists in modelling a progressive transformation between the clean and noisy speech signals. However, one popular diffusion model framework previously laid in image generation literature did not account for such a transformation towards the system input, which prevents from relating the existing diffusion-based speech enhancement systems with the aforementioned diffusion model framework. To address this, we extend this framework to account for the progressive transformation between the clean and noisy speech signals. This allows us to apply recent developments from image generation literature, and to systematically investigate design aspects of diffusion models that remain largely unexplored for speech enhancement, such as the neural network preconditioning, the training loss weighting, the stochastic differential equation (SDE), or the amount of stochasticity injected in the reverse process. We show that the performance of previous diffusion-based speech enhancement systems cannot be attributed to the progressive transformation between the clean and noisy speech signals. Moreover, we show that a proper choice of preconditioning, training loss weighting, SDE and sampler allows to outperform a popular diffusion-based speech enhancement system while using fewer sampling steps, thus reducing the computational cost by a factor of four.
• Abstract（参考訳）: 拡散モデルは、画像生成文学において優れた性能を示す新しい生成モデルである。 その結果、音声強調などの他のタスクに拡散モデルを適用しようと試みている。 音声強調への拡散モデルの適用における一般的なアプローチは、クリーンな音声信号とノイズの多い音声信号の間の進行的な変換をモデル化することである。 しかし、画像生成文献に記載された拡散モデルフレームワークは、既存の拡散ベース音声強調システムと上記拡散モデルフレームワークとの関係を防止できるようなシステム入力への変換を考慮しなかった。 これを解決するために,クリーン音声信号とノイズ音声信号の進行的変換を考慮し,この枠組みを拡張した。 これにより、画像生成文学からの最近の発展を応用し、ニューラルネットワークの前処理、トレーニング損失重み付け、確率微分方程式(SDE)、逆処理で注入される確率性など、音声強調のためにほとんど探索されていない拡散モデルの設計側面を体系的に研究することができる。 従来の拡散型音声強調システムの性能は、清潔な音声信号と雑音の多い音声信号の間の進行的な変換によるものではないことを示す。 さらに,プレコンディショニング,トレーニング損失重み付け,SDE,サンプリング器の適切な選択は,サンプリングステップを減らしながら,一般的な拡散に基づく音声強調システムよりも優れ,計算コストを4倍に削減できることを示す。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• GLA-Grad: A Griffin-Lim Extended Waveform Generation Diffusion Model [0.0]
  本稿では,Griffin-Limアルゴリズム(GLA)のような位相回復アルゴリズムを正規拡散過程の各ステップで導入するGLA-Gradを提案する。 提案アルゴリズムは,従来未確認の話者に対して音声を生成する場合に,音声生成のための最先端拡散モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-09T12:12:52Z)
• Unsupervised speech enhancement with diffusion-based generative models [0.0]
  拡散モデルの生成力を生かし、教師なしの方法で機能する代替手法を提案する。 本研究では,学習したクリーン音声と音声信号推論のための雑音モデルを組み合わせることで,音声強調のための後部サンプリング手法を開発した。 近年の変分オートエンコーダ (VAE) による教師なし手法と, 最先端の拡散型教師方式と比較して, 有望な結果が得られた。
  論文  参考訳（メタデータ） (2023-09-19T09:11:31Z)
• Prefix-diffusion: A Lightweight Diffusion Model for Diverse Image Captioning [36.4086473737433]
  本稿では,プレフィックス拡散(Prefix-diffusion)と呼ばれる,連続拡散を伴う軽量画像キャプションネットワークを提案する。 多様性を実現するために,拡散モデルの復調過程にプレフィックス画像埋め込みを注入する効率的な手法を設計する。 トレーニング可能なパラメータを減らすために,事前学習モデルを用いて画像の特徴を抽出し,さらに余分なマッピングネットワークを設計する。
  論文  参考訳（メタデータ） (2023-09-10T08:55:24Z)
• DiffusionBERT: Improving Generative Masked Language Models with Diffusion Models [81.84866217721361]
  DiffusionBERTは離散拡散モデルに基づく新しい生成マスク付き言語モデルである。 本稿では,各ステップに付加される雑音の度合いを制御する前方拡散プロセスのための新しいノイズスケジュールを提案する。 非条件テキスト生成の実験では、DiffusionBERTは既存のテキスト拡散モデルよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2022-11-28T03:25:49Z)
• Diffusion Models in Vision: A Survey [80.82832715884597]
  拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。 拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
  論文  参考訳（メタデータ） (2022-09-10T22:00:30Z)
• Conditional Diffusion Probabilistic Model for Speech Enhancement [101.4893074984667]
  本稿では,観測された雑音の音声信号の特徴を拡散・逆過程に組み込む新しい音声強調アルゴリズムを提案する。 本実験では, 代表的な生成モデルと比較して, 提案手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-10T18:58:01Z)
• A Study on Speech Enhancement Based on Diffusion Probabilistic Model [63.38586161802788]
  雑音信号からクリーンな音声信号を復元することを目的とした拡散確率モデルに基づく音声強調モデル(DiffuSE)を提案する。 実験結果から、DiffuSEは、標準化されたVoice Bankコーパスタスクにおいて、関連する音声生成モデルに匹敵する性能が得られることがわかった。
  論文  参考訳（メタデータ） (2021-07-25T19:23:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。