論文の概要: Speeding Up Speech Synthesis In Diffusion Models By Reducing Data Distribution Recovery Steps Via Content Transfer

• arxiv url: http://arxiv.org/abs/2309.09652v2
• Date: Thu, 10 Oct 2024 10:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-11 14:27:57.542596
• Title: Speeding Up Speech Synthesis In Diffusion Models By Reducing Data Distribution Recovery Steps Via Content Transfer
• Title（参考訳）: データ分散回復ステップの短縮による拡散モデルにおける音声合成の高速化
• Authors: Peter Ochieng,
• Abstract要約: 拡散に基づくボコーダはサンプリングに必要な多くのステップのために遅いと批判されている。 本稿では,目標がプロセスの進行時間ステップの異なる出力となる設定を提案する。 提案手法は競争時間帯に高忠実度音声を生成することを示す。
• 参考スコア（独自算出の注目度）: 3.2634122554914002
• License:
• Abstract: Diffusion based vocoders have been criticised for being slow due to the many steps required during sampling. Moreover, the model's loss function that is popularly implemented is designed such that the target is the original input $x_0$ or error $\epsilon_0$. For early time steps of the reverse process, this results in large prediction errors, which can lead to speech distortions and increase the learning time. We propose a setup where the targets are the different outputs of forward process time steps with a goal to reduce the magnitude of prediction errors and reduce the training time. We use the different layers of a neural network (NN) to perform denoising by training them to learn to generate representations similar to the noised outputs in the forward process of the diffusion. The NN layers learn to progressively denoise the input in the reverse process until finally the final layer estimates the clean speech. To avoid 1:1 mapping between layers of the neural network and the forward process steps, we define a skip parameter $\tau>1$ such that an NN layer is trained to cumulatively remove the noise injected in the $\tau$ steps in the forward process. This significantly reduces the number of data distribution recovery steps and, consequently, the time to generate speech. We show through extensive evaluation that the proposed technique generates high-fidelity speech in competitive time that outperforms current state-of-the-art tools. The proposed technique is also able to generalize well to unseen speech.
• Abstract（参考訳）: 拡散に基づくボコーダはサンプリングに必要な多くのステップのために遅いと批判されている。 さらに、一般的に実装されているモデルの損失関数は、ターゲットが元の入力$x_0$またはエラー$\epsilon_0$であるように設計されている。 逆過程の早期段階において、これは大きな予測誤差をもたらし、音声の歪みを生じさせ学習時間を増加させる。 本稿では,予測誤差の最大化とトレーニング時間の短縮を目標とする,前処理時間ステップの異なる出力を目標とする設定を提案する。 我々は、ニューラルネットワーク(NN)の異なる層を用いて、拡散の前処理でノイズ出力に似た表現を生成することを学ぶ。 NN層は、最終的に最終層がクリーン音声を推定するまで、逆処理で入力を段階的に認知する。 ニューラルネットワークのレイヤと前処理ステップの1:1マッピングを避けるために、前処理の$\tau>1$をスキップパラメータとして定義し、前処理の$\tau>1$で注入されたノイズを累積的に除去するようにNN層をトレーニングする。 これにより、データ分散回復ステップの数を大幅に減らし、その結果、音声を生成する時間が短縮される。 提案手法は,現在最先端のツールよりも優れた高忠実度音声を競合時間で生成することを示す。 提案手法は、未知の音声によく当てはまる。

関連論文リスト

• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• Single and Few-step Diffusion for Generative Speech Enhancement [18.487296462927034]
  拡散モデルは音声強調において有望な結果を示した。 本稿では,2段階の学習手法を用いて,これらの制約に対処する。 提案手法は定常的な性能を保ち,従って拡散ベースラインよりも大きく向上することを示す。
  論文  参考訳（メタデータ） (2023-09-18T11:30:58Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)
• Speech Enhancement and Dereverberation with Diffusion-based Generative Models [14.734454356396157]
  本稿では,微分方程式に基づく拡散過程について概説する。 提案手法により,30段階の拡散しか行わず,高品質なクリーン音声推定が可能であることを示す。 大規模なクロスデータセット評価では、改良された手法が近年の識別モデルと競合することを示す。
  論文  参考訳（メタデータ） (2022-08-11T13:55:12Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。