論文の概要: PoDAR: Power-Disentangled Audio Representation for Generative Modeling
- arxiv url: http://arxiv.org/abs/2605.10084v1
- Date: Mon, 11 May 2026 07:05:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-12 23:28:50.588484
- Title: PoDAR: Power-Disentangled Audio Representation for Generative Modeling
- Title(参考訳): PoDAR:ジェネレーティブモデリングのためのパワーディスタングルオーディオ表現
- Authors: Alejandro Luebs, Mithilesh Vaidya, Ishaan Kumar, Sumukh Badam, Stephen W. Bailey, Matthew Bendel, Jose Sotelo, Xingzhe He,
- Abstract要約: 本稿では,信号パワーをセマンティックコンテンツから切り離すために,ランダム化パワー拡張と潜時一貫性を目標とするフレームワークPoDARを提案する。
PoDARは、ベースラインのパフォーマンスにマッチする収束の約2倍の加速を達成し、LibriSpeech-PCデータセット上で最終話者類似度を0.055倍、UTMOSを0.22倍向上させる。
- 参考スコア(独自算出の注目度): 37.85041507235821
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The performance of audio latent diffusion models is primarily governed by generator expressivity and the modelability of the underlying latent space. While recent research has focused primarily on the former, as well as improving the reconstruction fidelity of audio codecs, we demonstrate that latent modelability can be significantly improved through explicit factor disentanglement. We present PoDAR (Power-Disentangled Audio Representation), a framework that utilizes a randomized power augmentation and latent consistency objective to decouple signal power from invariant semantic content. This factorization makes the latent space easier to model, which both accelerates the convergence of downstream generative models and improves final overall performance. When applied to a Stable Audio 1.0 VAE with an F5-TTS generator, PoDAR achieves about a $2\times$ acceleration in convergence to match baseline performance, while increasing final speaker similarity by 0.055 and UTMOS by 0.22 on the LibriSpeech-PC dataset. Furthermore, isolating power into dedicated channels enables the application of CFG exclusively to power-invariant content, effectively extending the stable guidance regime to higher scales.
- Abstract(参考訳): 音響潜伏拡散モデルの性能は、主にジェネレータ表現性と下層の潜伏空間のモデル化性によって制御される。
近年, 音声コーデックの再構成精度の向上とともに, 前者を中心に研究が進められている。
本稿では,信号パワーを不変意味コンテンツから切り離すために,ランダム化パワー拡張と遅延一貫性の目的を利用するPoDAR(Power-Disentangled Audio Representation)を提案する。
この因子化により、潜在空間のモデル化が容易になり、どちらも下流生成モデルの収束を加速し、最終的な全体的な性能を改善する。
F5-TTSジェネレータを備えたStable Audio 1.0 VAEに適用すると、PoDARはベースラインのパフォーマンスに合わせた収束の約2\times$加速度を達成すると同時に、LibriSpeech-PCデータセット上で最終話者類似度を0.055とUTMOS 0.22増加させる。
さらに、専用チャネルに電力を分離することで、CFGをパワー不変コンテンツにのみ適用することができ、安定したガイダンス体制をより高速に拡張することができる。
関連論文リスト
- MOSS-TTS Technical Report [62.0595749527453]
MOSS-TTSは、スケーラブルなレシピに基づいて構築された音声生成基盤モデルである。
24kHzのオーディオを12.5fpsに圧縮し、可変ビットレートRVQとセマンティック音響表現を統一する。
ゼロショット音声のクローニング、トークンレベルの持続時間制御、音素/ピニリンレベルの発音制御、スムーズなコードスイッチング、安定した長文生成をサポートする。
論文 参考訳(メタデータ) (2026-03-18T09:08:06Z) - EffiFusion-GAN: Efficient Fusion Generative Adversarial Network for Speech Enhancement [1.144423767174855]
本稿では,音声強調のための軽量かつ強力なモデルであるEffiFusion-GANを紹介する。
モデルはマルチスケールブロック内に深度的に分離可能な畳み込みを統合し、様々な音響特性を効率的に捉える。
EffiFusion-GANはPSSQスコアが3.45で、同じパラメータ設定で既存のモデルより優れている。
論文 参考訳(メタデータ) (2025-08-20T08:36:43Z) - READ: Real-time and Efficient Asynchronous Diffusion for Audio-driven Talking Head Generation [55.58089937219475]
本稿では,最初のリアルタイム拡散変換器を用いた音声ヘッド生成フレームワークREADを提案する。
提案手法はまず,VAEを用いて高度に圧縮されたビデオ潜時空間を学習し,音声生成におけるトークン数を大幅に削減する。
また,READは,実行時間を大幅に短縮した競合する音声ヘッドビデオを生成することにより,最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2025-08-05T13:57:03Z) - DeepFilterGAN: A Full-band Real-time Speech Enhancement System with GAN-based Stochastic Regeneration [7.958871935184919]
本稿では,GANをベースとしたリアルタイム音声強調システムを提案する。
358万のパラメータと低レイテンシで、私たちのシステムは軽量なアーキテクチャでリアルタイムストリーミング用に設計されています。
論文 参考訳(メタデータ) (2025-05-29T14:56:07Z) - DPN-GAN: Inducing Periodic Activations in Generative Adversarial Networks for High-Fidelity Audio Synthesis [4.834986020597738]
変形性周期ネットワークに基づくGAN(DPN-GAN)を提案する。
DPN-GANは、カーネルベースの周期的ReLUアクティベーション機能を導入し、オーディオ生成の周期的バイアスを誘導する。
DPN-GAN小パラメータ (38.67Mパラメータ) とDPN-GAN大パラメータ (124Mパラメータ) の2種類のモデルを訓練した。
論文 参考訳(メタデータ) (2025-05-14T02:52:16Z) - Diffusion-Driven Semantic Communication for Generative Models with Bandwidth Constraints [66.63250537475973]
本稿では,帯域制限付き生成モデルのための,高度なVAEベースの圧縮を用いた拡散駆動型セマンティック通信フレームワークを提案する。
実験の結果,ピーク信号対雑音比 (PSNR) などの画素レベルの指標と,LPIPS (Learning Perceptual Image patch similarity) のような意味的指標が大幅に改善された。
論文 参考訳(メタデータ) (2024-07-26T02:34:25Z) - ConsistencyTTA: Accelerating Diffusion-Based Text-to-Audio Generation with Consistency Distillation [21.335983674309475]
拡散モデルは、世代毎の根底にあるデノナイジングネットワークへのクエリ数が過度に多いため、遅い推論に悩まされる。
本稿では,1つの非自己回帰型ネットワーククエリのみを必要とするフレームワークであるConsistencyTTAを紹介する。
そこで我々は「CFG対応潜時整合モデル」を提案し, 整合性生成を潜時空間に適応させる。
論文 参考訳(メタデータ) (2023-09-19T16:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。