論文の概要: DLPO: Diffusion Model Loss-Guided Reinforcement Learning for Fine-Tuning Text-to-Speech Diffusion Models

• arxiv url: http://arxiv.org/abs/2405.14632v2
• Date: Fri, 15 Nov 2024 20:10:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-19 14:30:40.599841
• Title: DLPO: Diffusion Model Loss-Guided Reinforcement Learning for Fine-Tuning Text-to-Speech Diffusion Models
• Title（参考訳）: DLPO:微調整テキスト-音声拡散モデルのための拡散モデル損失誘導強化学習
• Authors: Jingyi Chen, Ju-Seung Byun, Micha Elsner, Andrew Perrault,
• Abstract要約: Reinforcement Learning with Human Feedback (RLHF) は画像合成のための拡散モデルを強化することができる。 拡散モデル損失誘導RLポリシー最適化(DLPO)を導入し、他のRLHF手法と比較する。 以上の結果から,RLHFは拡散に基づく音声合成モデルを向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 17.808826152758233
• License:
• Abstract: Recent advancements in generative models have sparked a significant interest within the machine learning community. Particularly, diffusion models have demonstrated remarkable capabilities in synthesizing images and speech. Studies such as those by Lee et al. (2023), Black et al. (2023), Wang et al. (2023), and Fan et al. (2024) illustrate that Reinforcement Learning with Human Feedback (RLHF) can enhance diffusion models for image synthesis. However, due to architectural differences between these models and those employed in speech synthesis, it remains uncertain whether RLHF could similarly benefit speech synthesis models. In this paper, we explore the practical application of RLHF to diffusion-based text-to-speech synthesis, leveraging the mean opinion score (MOS) as predicted by UTokyo-SaruLab MOS prediction system (Saeki et al., 2022) as a proxy loss. We introduce diffusion model loss-guided RL policy optimization (DLPO) and compare it against other RLHF approaches, employing the NISQA speech quality and naturalness assessment model (Mittag et al., 2021) and human preference experiments for further evaluation. Our results show that RLHF can enhance diffusion-based text-to-speech synthesis models, and, moreover, DLPO can better improve diffusion models in generating natural and high quality speech audios.
• Abstract（参考訳）: 生成モデルの最近の進歩は、機械学習コミュニティにおいて大きな関心を集めている。 特に拡散モデルは、画像と音声を合成する際、顕著な能力を示した。 Lee et al(2023年)、Black et al(2023年)、Wang et al(2023年)、Fan et al(2024年)などの研究は、Reinforcement Learning with Human Feedback(RLHF)が画像合成の拡散モデルを強化することを示している。 しかし、これらのモデルと音声合成に用いられているモデルとのアーキテクチャ的違いから、RLHFが同様に音声合成モデルに有用であるかどうかは不明である。 本稿では,東京・猿楽部MOS予測システム(佐伯ら,2022年)で予測される平均世論スコア(MOS)を利用して,拡散に基づく音声合成へのRLHFの適用について検討する。 NISQA音声品質と自然性評価モデル(Mittag et al , 2021)と人選好実験を併用して, 拡散モデル損失誘導RLポリシー最適化(DLPO)を導入し, 他のRLHF手法と比較した。 以上の結果から,RLHFは拡散に基づく音声合成モデルを向上させることができ,また,DLPOは自然および高品質な音声音声を生成する際の拡散モデルを改善することができることがわかった。

関連論文リスト

• Energy-Based Diffusion Language Models for Text Generation [126.23425882687195]
  エネルギーベース拡散言語モデル(Energy-based Diffusion Language Model, EDLM)は、拡散ステップごとに全シーケンスレベルで動作するエネルギーベースモデルである。 我々のフレームワークは、既存の拡散モデルよりも1.3$times$のサンプリングスピードアップを提供する。
  論文  参考訳（メタデータ） (2024-10-28T17:25:56Z)
• An Overview of Diffusion Models: Applications, Guided Generation, Statistical Rates and Optimization [59.63880337156392]
  拡散モデルはコンピュータビジョン、オーディオ、強化学習、計算生物学において大きな成功を収めた。 経験的成功にもかかわらず、拡散モデルの理論は非常に限定的である。 本稿では,前向きな理論や拡散モデルの手法を刺激する理論的露光について述べる。
  論文  参考訳（メタデータ） (2024-04-11T14:07:25Z)
• Training Class-Imbalanced Diffusion Model Via Overlap Optimization [55.96820607533968]
  実世界のデータセットで訓練された拡散モデルは、尾クラスの忠実度が劣ることが多い。 拡散モデルを含む深い生成モデルは、豊富な訓練画像を持つクラスに偏りがある。 本研究では,異なるクラスに対する合成画像の分布の重複を最小限に抑えるために,コントラスト学習に基づく手法を提案する。
  論文  参考訳（メタデータ） (2024-02-16T16:47:21Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Adversarial Training of Denoising Diffusion Model Using Dual Discriminators for High-Fidelity Multi-Speaker TTS [0.0]
  拡散モデルは確率論的アプローチにより高品質なデータを生成することができる。 これは、多くの時間ステップを必要とするため、生成速度が遅くなるという欠点に悩まされる。 本稿では、逆過程の分布を学習する拡散判別器と、生成されたデータの分布を学習するスペクトログラム判別器の2つの識別器を用いた音声合成モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-03T07:22:04Z)
• A Survey of Diffusion Models in Natural Language Processing [11.233768932957771]
  拡散モデルは、ネットワークや多様体にまたがる情報や信号の拡散を捉える。 本稿は,NLPで使用される拡散モデルの異なる定式化,その強度と限界,それらの応用について論じる。
  論文  参考訳（メタデータ） (2023-05-24T03:25:32Z)
• Training Diffusion Models with Reinforcement Learning [82.29328477109826]
  拡散モデルは、ログのような目的に近似して訓練される。 本稿では,下流目的のための拡散モデルを直接最適化するための強化学習手法について検討する。 本稿では,多段階決定問題としてデノベーションを行うことによって,ポリシー勾配アルゴリズムのクラスを実現する方法について述べる。
  論文  参考訳（メタデータ） (2023-05-22T17:57:41Z)
• StoRM: A Diffusion-based Stochastic Regeneration Model for Speech Enhancement and Dereverberation [20.262426487434393]
  本稿では,予測モデルによる推定値がさらなる拡散のガイドとして提供される再生手法を提案する。 提案手法は, 高い品質のサンプルを作成しながら, 発声・呼吸アーチファクトを除去するために, 予測モデルを用いていることを示す。
  論文  参考訳（メタデータ） (2022-12-22T16:35:42Z)
• Analyzing Diffusion as Serial Reproduction [12.389541192789167]
  拡散モデルは、データを徐々にノイズにマッピングする拡散過程を反転させることでサンプルを合成することを学ぶ。 私たちの研究は、認知科学の古典的なパラダイムが、最先端の機械学習問題に光を当てる方法を強調しています。
  論文  参考訳（メタデータ） (2022-09-29T14:35:28Z)
• Conditional Diffusion Probabilistic Model for Speech Enhancement [101.4893074984667]
  本稿では,観測された雑音の音声信号の特徴を拡散・逆過程に組み込む新しい音声強調アルゴリズムを提案する。 本実験では, 代表的な生成モデルと比較して, 提案手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-10T18:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。