Fugu-MT 論文翻訳(概要): An End-to-End Multi-Module Audio Deepfake Generation System for ADD Challenge 2023

論文の概要: An End-to-End Multi-Module Audio Deepfake Generation System for ADD Challenge 2023

arxiv url: http://arxiv.org/abs/2307.00729v1
Date: Mon, 3 Jul 2023 03:21:23 GMT
ステータス: 処理完了
システム内更新日: 2023-07-05 14:26:01.338666
Title: An End-to-End Multi-Module Audio Deepfake Generation System for ADD Challenge 2023
Title（参考訳）: ADDチャレンジ2023のためのエンド・ツー・エンドマルチモードオーディオディープフェイク生成システム
Authors: Sheng Zhao, Qilong Yuan, Yibo Duan and Zhuoyue Chen
Abstract要約: 本稿では、話者エンコーダ、Tacotron2に基づくシンセサイザ、WaveRNNに基づくボコーダを含む、エンドツーエンドのマルチモジュール合成音声生成モデルを構築する。 ADD 2023のトラック1.1で、44.97%の重み付き偽装成功率(WDSR)で優勝した。
参考スコア（独自算出の注目度）: 11.723802799620495
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The task of synthetic speech generation is to generate language content from a given text, then simulating fake human voice.The key factors that determine the effect of synthetic speech generation mainly include speed of generation, accuracy of word segmentation, naturalness of synthesized speech, etc. This paper builds an end-to-end multi-module synthetic speech generation model, including speaker encoder, synthesizer based on Tacotron2, and vocoder based on WaveRNN. In addition, we perform a lot of comparative experiments on different datasets and various model structures. Finally, we won the first place in the ADD 2023 challenge Track 1.1 with the weighted deception success rate (WDSR) of 44.97%.
Abstract（参考訳）: 合成音声生成の課題は、与えられたテキストから言語内容を生成し、次に偽の人間の音声をシミュレートすることであり、合成音声生成の効果を決定する重要な要因は、生成速度、単語分割の精度、合成音声の自然性などである。本稿では,話者エンコーダ,tacotron2に基づくシンセサイザ,wavernnに基づくvocoderを含む,エンドツーエンドのマルチモジュール合成音声生成モデルを構築した。さらに、異なるデータセットと様々なモデル構造について比較実験をたくさん行います。最後に、add 2023 challenge track 1.1で44.97%のfeed deception success rate(wdsr)で1位を獲得しました。

関連論文リスト

A Framework for Synthetic Audio Conversations Generation using Large Language Models [0.0]
Conversa Synthは、複数のペルソナ設定を持つ大規模言語モデル(LLM)を使用して合成会話音声を生成するように設計されたフレームワークである。このフレームワークはまず、さまざまなトピックにわたる多様で一貫性のあるテキストベースの対話を生成し、その後、TTS(text-to-speech)システムを使用して音声に変換する。
論文参考訳（メタデータ） (2024-09-02T05:09:46Z)
A Non-autoregressive Generation Framework for End-to-End Simultaneous Speech-to-Speech Translation [48.84039953531355]
同時音声翻訳のための新しい非自己回帰生成フレームワーク(NAST-S2X)を提案する。 NAST-S2Xは、音声テキストと音声音声タスクを統合エンドツーエンドフレームワークに統合する。 3秒未満の遅延で高品質な同時解釈を実現し、オフライン生成において28倍のデコードスピードアップを提供する。
論文参考訳（メタデータ） (2024-06-11T04:25:48Z)
TransFace: Unit-Based Audio-Visual Speech Synthesizer for Talking Head Translation [54.155138561698514]
音声から音声への直接翻訳は、自己教師付き学習から得られる離散単位を導入することにより、高品質な結果が得られる。既存の方法は常にカスケードに依存し、音声とテキストの両方を通して合成し、遅延やカスケードエラーを引き起こす。本稿では,音声-視覚音声を他の言語で直接音声-視覚音声に翻訳できる,頭部翻訳モデルである textbfTransFace を提案する。
論文参考訳（メタデータ） (2023-12-23T08:45:57Z)
HierSpeech++: Bridging the Gap between Semantic and Acoustic Representation of Speech by Hierarchical Variational Inference for Zero-shot Speech Synthesis [39.892633589217326]
大規模言語モデル(LLM)に基づく音声合成は、ゼロショット音声合成において広く採用されている。テキスト音声変換(TTS)と音声変換(VC)のための高速で強力なゼロショット音声合成器であるHierSpeech++を提案する。
論文参考訳（メタデータ） (2023-11-21T09:07:11Z)
Improved Child Text-to-Speech Synthesis through Fastpitch-based Transfer Learning [3.5032870024762386]
本稿では,Fastpitch text-to-speech(TTS)モデルを用いて,高品質な合成子音声を生成する手法を提案する。このアプローチでは、子話を扱うためにマルチスピーカーTSモデルを微調整する。実子声と合成子声の間に有意な相関が認められた客観的評価を行った。
論文参考訳（メタデータ） (2023-11-07T19:31:44Z)
Generative Spoken Language Model based on continuous word-sized audio tokens [52.081868603603844]
本稿では,単語サイズ連続評価音声埋め込みに基づく生成音声言語モデルを提案する。結果として得られるモデルは、単語サイズの連続埋め込みに基づく最初の生成言語モデルである。
論文参考訳（メタデータ） (2023-10-08T16:46:14Z)
Text-Driven Foley Sound Generation With Latent Diffusion Model [33.4636070590045]
Foley Sound Generationは、マルチメディアコンテンツのための背景音を合成することを目的としている。テキスト条件によるフォリー音声生成のための拡散モデルに基づくシステムを提案する。
論文参考訳（メタデータ） (2023-06-17T14:16:24Z)
NaturalSpeech 2: Latent Diffusion Models are Natural and Zero-Shot Speech and Singing Synthesizers [90.83782600932567]
残差ベクトル化器を備えたニューラルオーディオ予測器を応用して量子化潜在ベクトルを得るTSシステムであるNaturalSpeech 2を開発した。本研究では,NaturalSpeech 2を44K時間の音声・歌唱データを持つ大規模データセットに拡張し,未知話者の音声品質を評価する。 NaturalSpeech 2は、0ショット設定で、韻律/音節の類似性、合成、音声品質の点で、従来のTSシステムよりはるかに優れている。
論文参考訳（メタデータ） (2023-04-18T16:31:59Z)
A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
論文参考訳（メタデータ） (2023-02-08T17:34:32Z)
End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
論文参考訳（メタデータ） (2021-04-27T17:12:30Z)
Generative Spoken Language Modeling from Raw Audio [42.153136032037175]
生成音声言語モデリングは、(テキストやラベルなしで)生音声のみから、言語の音響的特徴と言語的特徴を共同で学習することを伴う本稿では,2つのエンドツーエンドタスクの音響的品質と言語的品質の観点から,生成した出力を自動的に評価する指標を提案する。我々は、離散音声エンコーダ(離散音声単位を返却する)、生成言語モデル(擬似テキスト単位で学習する)、音声デコーダからなるベースラインシステムをテストする。
論文参考訳（メタデータ） (2021-02-01T21:41:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。