論文の概要: Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis

• arxiv url: http://arxiv.org/abs/2306.09417v2
• Date: Mon, 10 Jul 2023 12:53:24 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-11 18:05:42.745754
• Title: Diff-TTSG: Denoising probabilistic integrated speech and gesture synthesis
• Title（参考訳）: diff-ttsg : 確率的統合音声合成とジェスチャ合成
• Authors: Shivam Mehta, Siyang Wang, Simon Alexanderson, Jonas Beskow, \'Eva Sz\'ekely, Gustav Eje Henter
• Abstract要約: 本稿では,Diff-TTSGと呼ばれる拡散型確率モデルについて述べる。 本稿では,統合音声とジェスチャー合成システムを評価するための,一様・多様主観的一様・多様主観的テストのセットについて述べる。
• 参考スコア（独自算出の注目度）: 19.35266496960533
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With read-aloud speech synthesis achieving high naturalness scores, there is a growing research interest in synthesising spontaneous speech. However, human spontaneous face-to-face conversation has both spoken and non-verbal aspects (here, co-speech gestures). Only recently has research begun to explore the benefits of jointly synthesising these two modalities in a single system. The previous state of the art used non-probabilistic methods, which fail to capture the variability of human speech and motion, and risk producing oversmoothing artefacts and sub-optimal synthesis quality. We present the first diffusion-based probabilistic model, called Diff-TTSG, that jointly learns to synthesise speech and gestures together. Our method can be trained on small datasets from scratch. Furthermore, we describe a set of careful uni- and multi-modal subjective tests for evaluating integrated speech and gesture synthesis systems, and use them to validate our proposed approach. For synthesised examples please see https://shivammehta25.github.io/Diff-TTSG
• Abstract（参考訳）: 高自然度スコアを達成できる読解音声合成は、自然音声合成における研究の関心が高まっている。 しかし、人間の自発的な対面会話には、話し言葉と言葉以外の側面の両方がある(ここでは、協調的なジェスチャー)。 つい最近になって、これらの2つのモダリティを単一のシステムで共同で合成する方法の研究が始まった。 従来の技術では、人間の発話や動きの変動を捉えない非確率的手法を使用しており、過剰な人工物や準最適合成品質を生み出す危険性があった。 我々はdiff-ttsgと呼ばれる拡散に基づく最初の確率モデルを提案する。 我々の方法はスクラッチから小さなデータセットで訓練することができる。 さらに、統合音声とジェスチャー合成システムを評価するための一様・多様主観的一様テストのセットを記述し、提案手法の有効性を検証する。 合成例についてはhttps://shivammehta25.github.io/diff-ttsgを参照。

関連論文リスト

• Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models [55.898594710420326]
  本稿では,言語モデルに基づく新たな自然音声合成システムを提案する。 自発音声における微妙な韻律変化を捉えるモデルの能力を高めるために, きめ細かい韻律モデリングを導入する。
  論文  参考訳（メタデータ） (2024-07-18T13:42:38Z)
• Unified speech and gesture synthesis using flow matching [24.2094371314481]
  本稿では,テキストから音声とスケルトンに基づく3次元ジェスチャーを共同で合成するための,新しい統一アーキテクチャを提案する。 提案したアーキテクチャは,従来の技術よりもシンプルで,メモリフットプリントが小さく,音声とジェスチャーの同時分布を捉えることができる。
  論文  参考訳（メタデータ） (2023-10-08T14:37:28Z)
• EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech Resynthesis [49.04496602282718]
  テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。 このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。 自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
  論文  参考訳（メタデータ） (2023-08-10T17:41:19Z)
• A Vector Quantized Approach for Text to Speech Synthesis on Real-World Spontaneous Speech [94.64927912924087]
  我々は、YouTubeやポッドキャストから現実の音声を使ってTSシステムを訓練する。 最近のText-to-Speechアーキテクチャは、複数のコード生成とモノトニックアライメントのために設計されている。 近年のテキスト・トゥ・スペーチ・アーキテクチャは,いくつかの客観的・主観的尺度において,既存のTSシステムより優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-08T17:34:32Z)
• TranSpeech: Speech-to-Speech Translation With Bilateral Perturbation [61.564874831498145]
  TranSpeechは、両側摂動を伴う音声から音声への翻訳モデルである。 我々は,非自己回帰S2ST手法を構築し,繰り返しマスキングを行い,単位選択を予測する。 TranSpeechは推論遅延を大幅に改善し、自動回帰技術よりも最大21.4倍のスピードアップを実現している。
  論文  参考訳（メタデータ） (2022-05-25T06:34:14Z)
• Learning Hierarchical Cross-Modal Association for Co-Speech Gesture Generation [107.10239561664496]
  協調音声ジェスチャ生成のためのHA2G(Hierarchical Audio-to-Gesture)という新しいフレームワークを提案する。 提案手法は,現実的な共同音声ジェスチャーを描画し,従来手法よりも明確なマージンで性能を向上する。
  論文  参考訳（メタデータ） (2022-03-24T16:33:29Z)
• Discretization and Re-synthesis: an alternative method to solve the Cocktail Party Problem [65.25725367771075]
  この研究は、初めて合成に基づくアプローチがこの問題にうまく対応できることを示した。 具体的には,離散シンボルの認識に基づく音声分離/強調モデルを提案する。 離散シンボルの入力による合成モデルを利用することで、離散シンボル列の予測後、各ターゲット音声を再合成することができる。
  論文  参考訳（メタデータ） (2021-12-17T08:35:40Z)
• Integrated Speech and Gesture Synthesis [26.267738299876314]
  テキスト音声合成と共同音声合成は、これまで2つの異なる研究コミュニティによって別々の領域として扱われてきた。 統合音声・ジェスチャー合成(ISG)と呼ばれる新しい問題である,2つのモーダルを1つのモデルで合成することを提案する。 モデルは、パイプラインシステムと比較して、より高速な合成時間とパラメータ数でこれを実現することができる。
  論文  参考訳（メタデータ） (2021-08-25T19:04:00Z)
• Generating coherent spontaneous speech and gesture from text [21.90157862281996]
  人体コミュニケーションは、言語情報(音声)と非言語情報(ジェスチャーや頭の動きなど)の両方を含む 機械学習の最近の進歩は、これらのデータの両方の合成バージョンを生成する技術を大幅に改善した。 私たちはこの2つの最先端技術を初めてコヒーレントな方法で組み合わせました。
  論文  参考訳（メタデータ） (2021-01-14T16:02:21Z)
• Speech Synthesis as Augmentation for Low-Resource ASR [7.2244067948447075]
  音声合成は低リソース音声認識の鍵となるかもしれない。 データ拡張技術は、現代の音声認識トレーニングの重要な部分となっている。 音声合成技術は、人間のような音声を達成するという目標に急速に近づきつつある。
  論文  参考訳（メタデータ） (2020-12-23T22:19:42Z)
• Laughter Synthesis: Combining Seq2seq modeling with Transfer Learning [6.514358246805895]
  本稿では,シーケンス・ツー・シーケンスTTS合成システムに基づく音声笑い合成システムを提案する。 我々は、深層学習モデルを訓練することで、翻訳学習を活用して、アノテーションから音声と笑いの両方を生成することを学習する。
  論文  参考訳（メタデータ） (2020-08-20T09:37:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。