論文の概要: Differentiable Reward Optimization for LLM based TTS system

• arxiv url: http://arxiv.org/abs/2507.05911v1
• Date: Tue, 08 Jul 2025 11:57:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 16:34:37.95568
• Title: Differentiable Reward Optimization for LLM based TTS system
• Title（参考訳）: LLMに基づくTSシステムの微分リワード最適化
• Authors: Changfeng Gao, Zhihao Du, Shiliang Zhang,
• Abstract要約: 本稿では,ニューラルネットワークモデルに基づくテキスト音声合成(TTS)システムの性能向上を目的とした,新しい微分リワード最適化(DiffRO)手法を提案する。 従来の人間からのフィードバック(RLHF)からの強化学習とは対照的に、DiffROは合成音声に頼るのではなく、ニューラルトークンに基づいて報酬を直接計算する。 異なる視点からフィードバックを得られるマルチタスク報酬(MTR)モデルを導入し、命令を効果的に追従するシステムの能力を増強できることを示す。
• 参考スコア（独自算出の注目度）: 46.658935067247945
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes a novel Differentiable Reward Optimization (DiffRO) method aimed at enhancing the performance of neural codec language models based text-to-speech (TTS) systems. In contrast to conventional reinforcement learning from human feedback (RLHF) approaches applied to TTS, DiffRO directly compute the rewards based on neural codec tokens, rather than relying on synthesized audio. Furthermore, we employ the Gumbel-Softmax technique to render the reward function differentiable, thereby streamlining the RLHF training process. Additionally, we introduce a multi-task reward (MTR) model which can provide feedback from different perspectives and find that it can augment the system's capability to follow instructions effectively.Experimental results indicate that DiffRO significantly improves the pronunciation accuracy of the TTS system, achieving state-of-the-art (SOTA) WER results on the seed-tts-eval benchmark. Moreover, with the integration of the MTR model, we demonstrate the ability to control emotional and quality attributes in a zero-shot manner.
• Abstract（参考訳）: 本稿では,ニューラルコーデック言語モデルに基づくテキスト音声合成(TTS)システムの性能向上を目的とした,新たな微分リワード最適化(DiffRO)手法を提案する。 TTSに適用された従来の強化学習(RLHF)とは対照的に、DiffROは合成オーディオに頼るのではなく、ニューラルコーデックトークンに基づいて報酬を直接計算する。 さらに、Gumbel-Softmax 法を用いて報酬関数を微分可能とし、RLHF トレーニングプロセスの合理化を行う。 さらに、異なる視点からフィードバックを得られるマルチタスク報酬(MTR)モデルを導入し、インストラクションを効果的に追従するシステムの能力を向上できることを示す実験結果から、DiffROはシード-tts-evalベンチマークにおいて、最先端(SOTA)のWER結果を達成することにより、TSシステムの発音精度を大幅に向上することが示された。 さらに、MTRモデルの統合により、ゼロショット方式で感情特性と品質特性を制御できることを実証する。

関連論文リスト

• Codec-ASR: Training Performant Automatic Speech Recognition Systems with Discrete Speech Representations [16.577870835480585]
  本稿では、離散符号を用いたASRシステム構築に関する総合的な分析を行う。 本稿では,量子化スキームや時間領域,スペクトル特徴符号化などの異なる手法について検討する。 同様のビットレートでEncodecを上回るパイプラインを導入する。
  論文  参考訳（メタデータ） (2024-07-03T20:51:41Z)
• Robust Zero-Shot Text-to-Speech Synthesis with Reverse Inference Optimization [34.51491788470738]
  本稿では,自己回帰モデルに基づく音声合成システム(TTS)の堅牢性を高めるために,リバース推論最適化(RIO)を提案する。 RIOは、RTSシステム自体によって生成された音声サンプルからRLHFで使用される例を選択するために、逆推論を使用する。 RIOは、トレーニングと推論条件の相違を低減し、ゼロショットTS性能の安定性を著しく向上する。
  論文  参考訳（メタデータ） (2024-07-02T13:04:04Z)
• Improved Contextual Recognition In Automatic Speech Recognition Systems By Semantic Lattice Rescoring [4.819085609772069]
  本稿では,意味的格子処理によるASRシステム内における文脈認識の高度化のための新しい手法を提案する。 提案手法は,隠れマルコフモデルとガウス混合モデル(HMM-GMM)とディープニューラルネットワーク(DNN)モデルを用いて,精度を向上する。 本稿では,実験分析によるLibriSpeechデータセット上でのフレームワークの有効性を示す。
  論文  参考訳（メタデータ） (2023-10-14T23:16:05Z)
• Improving Audio-Visual Speech Recognition by Lip-Subword Correlation Based Visual Pre-training and Cross-Modal Fusion Encoder [58.523884148942166]
  本稿では,事前学習および微調整訓練の枠組みの下で,音声視覚音声認識(AVSR)を改善するための2つの新しい手法を提案する。 まず, マンダリンにおける口唇形状と音節レベルサブワード単位の相関について検討し, 口唇形状から良好なフレームレベル音節境界を確立する。 次に,音声誘導型クロスモーダルフュージョンエンコーダ(CMFE)ニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2023-08-14T08:19:24Z)
• Contextual-Utterance Training for Automatic Speech Recognition [65.4571135368178]
  本稿では,過去と将来の文脈発話を利用した文脈発話訓練手法を提案する。 また,自動音声認識(ASR)システムをストリーミングするための2モード文脈発話訓練手法を提案する。 提案手法により、WERと平均最後のトークン放出遅延を6%以上、40ms以上削減できる。
  論文  参考訳（メタデータ） (2022-10-27T08:10:44Z)
• Neural Model Reprogramming with Similarity Based Mapping for Low-Resource Spoken Command Recognition [71.96870151495536]
  低リソース音声コマンド認識(SCR)のための新しいAR手法を提案する。 ARプロシージャは、(対象領域から)音響信号を修正して、事前訓練されたSCRモデルを再利用することを目的としている。 提案したAR-SCRシステムについて,アラビア語,リトアニア語,マンダリン語を含む3つの低リソースSCRデータセットを用いて評価した。
  論文  参考訳（メタデータ） (2021-10-08T05:07:35Z)
• Pretraining Techniques for Sequence-to-Sequence Voice Conversion [57.65753150356411]
  シークエンス・トゥ・シークエンス(seq2seq)音声変換(VC)モデルは、韻律を変換する能力によって魅力的である。 我々は,大規模コーパスが容易に利用できる他の音声処理タスク(通常,テキスト音声(TTS)と自動音声認識(ASR))から知識を伝達することを提案する。 このような事前訓練されたASRまたはTSモデルパラメータを持つVCモデルは、高忠実で高知能な変換可能な音声に対して効果的な隠れ表現を生成することができると論じる。
  論文  参考訳（メタデータ） (2020-08-07T11:02:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。