論文の概要: Speech Synthesis By Unrolling Diffusion Process using Neural Network Layers

• arxiv url: http://arxiv.org/abs/2309.09652v5
• Date: Wed, 11 Jun 2025 05:56:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-12 16:13:47.961038
• Title: Speech Synthesis By Unrolling Diffusion Process using Neural Network Layers
• Title（参考訳）: ニューラルネットワーク層を用いた拡散過程の展開による音声合成
• Authors: Peter Ochieng,
• Abstract要約: UDPNetは音声合成における逆拡散過程を高速化する新しいアーキテクチャである。 UDPNetは、品質と効率の両面で最先端の手法を一貫して上回っていることを示す。 これらの結果は、UDPNetをリアルタイム音声合成アプリケーションのための堅牢なソリューションとして位置づけている。
• 参考スコア（独自算出の注目度）: 3.2634122554914002
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work introduces UDPNet, a novel architecture designed to accelerate the reverse diffusion process in speech synthesis. Unlike traditional diffusion models that rely on timestep embeddings and shared network parameters, UDPNet unrolls the reverse diffusion process directly into the network architecture, with successive layers corresponding to equally spaced steps in the diffusion schedule. Each layer progressively refines the noisy input, culminating in a high-fidelity estimation of the original data, \(x_0\). Additionally, we redefine the learning target by predicting latent variables instead of the conventional \(x_0\) or noise \(\epsilon_0\). This shift addresses the common issue of large prediction errors in early denoising stages, effectively reducing speech distortion. Extensive evaluations on single- and multi-speaker datasets demonstrate that UDPNet consistently outperforms state-of-the-art methods in both quality and efficiency, while generalizing effectively to unseen speech. These results position UDPNet as a robust solution for real-time speech synthesis applications. Sample audio is available at https://onexpeters.github.io/UDPNet.
• Abstract（参考訳）: 本研究は,音声合成における逆拡散過程を高速化する新しいアーキテクチャであるUDPNetを紹介する。 時間ステップの埋め込みと共有ネットワークパラメータに依存する従来の拡散モデルとは異なり、UDPNetは、拡散スケジュールにおける等間隔のステップに対応する連続したレイヤで、逆拡散プロセスをネットワークアーキテクチャに直接アンロールする。 各層は、ノイズの多い入力を徐々に洗練し、元のデータの高忠実度推定である(x_0\)。 さらに,従来の「(x_0\)」や「ノイズ「(\epsilon_0\)」の代わりに潜伏変数を予測することにより,学習対象を再定義する。 このシフトは、初期段階における大きな予測誤差の一般的な問題に対処し、音声歪みを効果的に低減する。 単一話者と複数話者のデータセットに対する広範囲な評価により、UDPNetは品質と効率の両方で最先端の手法を一貫して上回り、見当たらない音声に効果的に一般化することを示した。 これらの結果は、UDPNetをリアルタイム音声合成アプリケーションのための堅牢なソリューションとして位置づけている。 サンプルオーディオはhttps://onexpeters.github.io/UDPNetで入手できる。

関連論文リスト

• Efficient Speech Language Modeling via Energy Distance in Continuous Latent Space [78.48611303387118]
  本稿では、音声波形を連続的な潜在表現の列に符号化することで、音声言語モデリングの代替手法であるSLEDを紹介する。 SLEDは離散化エラーを回避し、既存の言語モデルに共通する複雑な階層アーキテクチャの必要性を排除する。 実験結果から,SLEDはゼロショット音声合成とストリーミング音声合成の両方において高い性能を発揮することが示された。
  論文  参考訳（メタデータ） (2025-05-19T14:38:59Z)
• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Towards More Accurate Diffusion Model Acceleration with A Timestep Aligner [84.97253871387028]
  数千のデノナイジングステップを用いて画像を生成するために定式化された拡散モデルは通常、遅い推論速度に悩まされる。 最小限のコストで特定の区間に対するより正確な積分方向を見つけるのに役立つ時間ステップ整合器を提案する。 実験により,我々のプラグイン設計を効率的に訓練し,様々な最先端加速度法の推論性能を向上できることが示された。
  論文  参考訳（メタデータ） (2023-10-14T02:19:07Z)
• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Single and Few-step Diffusion for Generative Speech Enhancement [18.487296462927034]
  拡散モデルは音声強調において有望な結果を示した。 本稿では,2段階の学習手法を用いて,これらの制約に対処する。 提案手法は定常的な性能を保ち,従って拡散ベースラインよりも大きく向上することを示す。
  論文  参考訳（メタデータ） (2023-09-18T11:30:58Z)
• Boosting Fast and High-Quality Speech Synthesis with Linear Diffusion [85.54515118077825]
  本稿では, 常微分方程式に基づく線形拡散モデル(LinDiff)を提案する。 計算複雑性を低減するため、LinDiffでは、入力信号を小さなパッチに分割するパッチベースの処理アプローチを採用している。 我々のモデルは、より高速な合成速度で自己回帰モデルに匹敵する品質の音声を合成することができる。
  論文  参考訳（メタデータ） (2023-06-09T07:02:43Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
  そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。 入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
  論文  参考訳（メタデータ） (2023-03-27T00:40:52Z)
• VideoFusion: Decomposed Diffusion Models for High-Quality Video Generation [88.49030739715701]
  本研究は, フレームごとのノイズを, 全フレーム間で共有されるベースノイズ, 時間軸に沿って変化する残雑音に分解することで, 拡散過程を分解する。 様々なデータセットの実験により,ビデオフュージョンと呼ばれる我々の手法が,高品質なビデオ生成において,GANベースと拡散ベースの両方の選択肢を上回ることが確認された。
  論文  参考訳（メタデータ） (2023-03-15T02:16:39Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• Post-training Quantization on Diffusion Models [14.167428759401703]
  拡散(スコアベース)生成モデルは近年、現実的で多様なデータを生成する上で大きな成果を上げている。 これらの手法は、データをノイズに変換する前方拡散プロセスと、ノイズからデータをサンプリングする後方デノナイジングプロセスを定義する。 残念なことに、長い反復的雑音推定のため、現在のデノナイジング拡散モデルの生成過程は明らかに遅い。
  論文  参考訳（メタデータ） (2022-11-28T19:33:39Z)
• Speech Enhancement and Dereverberation with Diffusion-based Generative Models [14.734454356396157]
  本稿では,微分方程式に基づく拡散過程について概説する。 提案手法により,30段階の拡散しか行わず,高品質なクリーン音声推定が可能であることを示す。 大規模なクロスデータセット評価では、改良された手法が近年の識別モデルと競合することを示す。
  論文  参考訳（メタデータ） (2022-08-11T13:55:12Z)
• Direction-Aware Adaptive Online Neural Speech Enhancement with an Augmented Reality Headset in Real Noisy Conversational Environments [21.493664174262737]
  本稿では,拡張現実(AR)ヘッドセットにおけるオンライン音声強調の実用的応答・性能認識開発について述べる。 これは、実際の騒々しいエコー環境(例えばカクテルパーティー)における会話を理解するのに役立つ。 この方法は、話者のうるさい残響音声を転写するための重み付き予測誤差(WPE)と呼ばれるブラインド残響法で用いられる。
  論文  参考訳（メタデータ） (2022-07-15T05:14:27Z)
• ProDiff: Progressive Fast Diffusion Model For High-Quality Text-to-Speech [63.780196620966905]
  本稿では,高品質テキスト合成のためのプログレッシブ高速拡散モデルであるProDiffを提案する。 ProDiffはクリーンデータを直接予測することでデノナイジングモデルをパラメータ化し、サンプリングを高速化する際の品質劣化を回避する。 評価の結果,高忠実度メル-スペクトログラムの合成にProDiffは2回しか要しないことがわかった。 ProDiffは1つのNVIDIA 2080Ti GPU上で、サンプリング速度をリアルタイムより24倍高速にする。
  論文  参考訳（メタデータ） (2022-07-13T17:45:43Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Streaming End-to-End ASR based on Blockwise Non-Autoregressive Models [57.20432226304683]
  非自己回帰(NAR)モデリングは、音声処理においてますます注目を集めている。 エンドツーエンドのNAR音声認識システムを提案する。 提案手法は低レイテンシ条件下でのオンラインASR認識を改善する。
  論文  参考訳（メタデータ） (2021-07-20T11:42:26Z)
• Diffusion-Based Representation Learning [65.55681678004038]
  教師付き信号のない表現学習を実現するために,デノナイズスコアマッチングフレームワークを拡張した。 対照的に、拡散に基づく表現学習は、デノナイジングスコアマッチング目的の新しい定式化に依存している。 同じ手法を用いて,半教師付き画像分類における最先端モデルの改善を実現する無限次元潜在符号の学習を提案する。
  論文  参考訳（メタデータ） (2021-05-29T09:26:02Z)
• Single Channel Speech Enhancement Using Temporal Convolutional Recurrent Neural Networks [23.88788382262305]
  時間畳み込みリカレントネットワーク(TCRN)は、ノイズ波形を直接クリーン波形にマッピングするエンドツーエンドモデルである。 既存の畳み込みリカレントネットワークと比較して,本モデルではモデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-02-02T04:26:50Z)
• Temporal-Spatial Neural Filter: Direction Informed End-to-End Multi-channel Target Speech Separation [66.46123655365113]
  ターゲット音声分離とは、混合信号からターゲット話者の音声を抽出することを指す。 主な課題は、複雑な音響環境とリアルタイム処理の要件である。 複数話者混合から対象音声波形を直接推定する時間空間ニューラルフィルタを提案する。
  論文  参考訳（メタデータ） (2020-01-02T11:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。