論文の概要: Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency

• arxiv url: http://arxiv.org/abs/2005.07810v2
• Date: Tue, 19 May 2020 01:16:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-02 23:52:40.743796
• Title: Unsupervised Cross-Domain Speech-to-Speech Conversion with Time-Frequency Consistency
• Title（参考訳）: 時間-周波数整合性を考慮した教師なしクロスドメイン音声-音声変換
• Authors: Mohammad Asif Khan, Fabien Cardinaux, Stefan Uhlich, Marc Ferras, Asja Fischer
• Abstract要約: 本稿では,逆行訓練におけるスペクトルの整合性を促進する条件を提案する。 Librispeech corpus を用いた実験結果から,TF の整合性で訓練したモデルにより,音声から音声への変換の精度が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 14.062850439230111
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years generative adversarial network (GAN) based models have been successfully applied for unsupervised speech-to-speech conversion.The rich compact harmonic view of the magnitude spectrogram is considered a suitable choice for training these models with audio data. To reconstruct the speech signal first a magnitude spectrogram is generated by the neural network, which is then utilized by methods like the Griffin-Lim algorithm to reconstruct a phase spectrogram. This procedure bears the problem that the generated magnitude spectrogram may not be consistent, which is required for finding a phase such that the full spectrogram has a natural-sounding speech waveform. In this work, we approach this problem by proposing a condition encouraging spectrogram consistency during the adversarial training procedure. We demonstrate our approach on the task of translating the voice of a male speaker to that of a female speaker, and vice versa. Our experimental results on the Librispeech corpus show that the model trained with the TF consistency provides a perceptually better quality of speech-to-speech conversion.
• Abstract（参考訳）: 近年,GANをベースとしたモデルが,教師なし音声から音声への変換に成功しており,音量スペクトルのコンパクトな高調波ビューは,これらのモデルを音声データで訓練するのに適していると考えられる。 音声信号をまず再構成するために、ニューラルネットワークにより等級スペクトログラムを生成し、その後、グリフィン・リムアルゴリズムなどの手法で位相スペクトログラムを再構成する。 この手順は、生成した等級スペクトログラムが一貫しない可能性があり、全スペクトルが自然な音声波形を持つような位相を見つけるために必要となる。 本研究では,逆行訓練におけるスペクトル整合性を促す条件を提案することで,この問題に対処する。 我々は,男性話者の音声を女性話者の音声に翻訳する作業に対するアプローチを実証し,その逆も示す。 Librispeech corpus を用いた実験結果から,TF の整合性で訓練したモデルにより,音声から音声への変換の精度が向上することが示された。

関連論文リスト

• High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models [56.00939852727501]
  最小教師付き音声合成は、2種類の離散音声表現を組み合わせることでTSを分離する。 非自己回帰フレームワークは、制御可能性を高め、持続拡散モデルは、多様化された韻律表現を可能にする。
  論文  参考訳（メタデータ） (2023-09-27T09:27:03Z)
• Acoustic To Articulatory Speech Inversion Using Multi-Resolution Spectro-Temporal Representations Of Speech Signals [5.743287315640403]
  フィードフォワードディープニューラルネットワークをトレーニングし、6つのトラクト変数の明瞭な軌跡を推定する。 実験は、0.675と接地軌道変数の相関を達成した。
  論文  参考訳（メタデータ） (2022-03-11T07:27:42Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Direct speech-to-speech translation with discrete units [64.19830539866072]
  本稿では、中間テキスト生成に頼ることなく、ある言語から別の言語に音声を変換する直接音声音声翻訳(S2ST)モデルを提案する。 そこで本稿では,ラベルなし音声コーパスから学習した自己教師付き離散表現の予測を提案する。 対象のテキスト書き起こしが利用可能となると、同一の推論パスで2つのモード出力(音声とテキスト)を同時に生成できる、共同音声認識とテキストトレーニングを備えたマルチタスク学習フレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-12T17:40:43Z)
• End-to-End Video-To-Speech Synthesis using Generative Adversarial Networks [54.43697805589634]
  GAN(Generative Adversarial Networks)に基づくエンドツーエンドビデオ音声合成モデルを提案する。 本モデルは,生映像を入力として受信し,音声を生成するエンコーダ・デコーダアーキテクチャで構成されている。 このモデルは,グリッドなどの制約付きデータセットに対して,顕著なリアリズムで音声を再構成できることを示す。
  論文  参考訳（メタデータ） (2021-04-27T17:12:30Z)
• Learning robust speech representation with an articulatory-regularized variational autoencoder [13.541055956177937]
  顎、舌、唇、椎骨の構成を記述する調音パラメータを声道形状およびスペクトル特徴と関連付けることができる調音モデルを開発する。 この調音制約は,収束までの時間を短縮し,コンバージェンスにおける再構成損失を低減し,モデルトレーニングを改善できることを示す。
  論文  参考訳（メタデータ） (2021-04-07T15:47:04Z)
• Multi-Discriminator Sobolev Defense-GAN Against Adversarial Attacks for End-to-End Speech Systems [78.5097679815944]
  本稿では,最先端音声テキストシステムのためのエンドツーエンド攻撃に対する防御手法を提案する。 まず,短時間フーリエ変換を用いた2次元スペクトルを用いた音声信号の表現を行う。 第二に、スペクトログラム部分空間射影演算を用いて安全ベクトルを反復的に発見する。 第3に,ソボレフ積分確率計量で学習した新しいganアーキテクチャを用いて,このような安全なベクトルを持つスペクトログラムを合成する。
  論文  参考訳（メタデータ） (2021-03-15T01:11:13Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)
• End-to-End Adversarial Text-to-Speech [33.01223309795122]
  正規化されたテキストや音素から音声をエンドツーエンドで合成することを学ぶ。 提案するジェネレータはフィードフォワードであり,トレーニングと推論の両方に効率的である。 敵対的フィードバックと予測損失を組み合わせた高忠実度オーディオを学習する。
  論文  参考訳（メタデータ） (2020-06-05T17:41:05Z)
• Speech-to-Singing Conversion based on Boundary Equilibrium GAN [42.739822506085694]
  本稿では,音声信号のスペクトルを歌声に変換するためのGANモデルについて検討する。 提案モデルは,既存の非対向学習ベースラインよりも自然性が高い歌声を生成する。
  論文  参考訳（メタデータ） (2020-05-28T08:18:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。