論文の概要: Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for
Personalized Spontaneous Speech Synthesis
- arxiv url: http://arxiv.org/abs/2210.07559v1
- Date: Fri, 14 Oct 2022 06:29:33 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-17 17:35:47.079977
- Title: Empirical Study Incorporating Linguistic Knowledge on Filled Pauses for
Personalized Spontaneous Speech Synthesis
- Title(参考訳): パーソナライズされた自発音声合成のためのパウス文の言語知識を取り入れた実証的研究
- Authors: Yuta Matsunaga, Takaaki Saeki, Shinnosuke Takamichi and Hiroshi
Saruwatari
- Abstract要約: 個人の声の音色と発話の拡散の両方をクローンできるパーソナライズされた自発音声合成に焦点を当てる。
複数話者コーパスで学習した非個人化外部充満停止予測器を用いた音声合成手法を開発した。
- 参考スコア(独自算出の注目度): 39.07197732404122
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: We present a comprehensive empirical study for personalized spontaneous
speech synthesis on the basis of linguistic knowledge. With the advent of voice
cloning for reading-style speech synthesis, a new voice cloning paradigm for
human-like and spontaneous speech synthesis is required. We, therefore, focus
on personalized spontaneous speech synthesis that can clone both the
individual's voice timbre and speech disfluency. Specifically, we deal with
filled pauses, a major source of speech disfluency, which is known to play an
important role in speech generation and communication in psychology and
linguistics. To comparatively evaluate personalized filled pause insertion and
non-personalized filled pause prediction methods, we developed a speech
synthesis method with a non-personalized external filled pause predictor
trained with a multi-speaker corpus. The results clarify the position-word
entanglement of filled pauses, i.e., the necessity of precisely predicting
positions for naturalness and the necessity of precisely predicting words for
individuality on the evaluation of synthesized speech.
- Abstract(参考訳): 本稿では,言語知識に基づく自発音声合成のための包括的実証研究を行う。
読み上げ型音声合成のための音声クローニングの出現に伴い, 音声合成のための新しい音声クローニングパラダイムが求められている。
そこで我々は,個人の音声音色と音声不均一性の両方をクローンできる自発的音声合成に焦点をあてた。
具体的には, 言語・心理学における音声生成・コミュニケーションにおいて重要な役割を担っていることで知られる, 音声不流動の主な原因であるポーズの充足を扱う。
パーソナライズドフィルドポーズ挿入法と非パーソナライズドフィルドポーズ予測法を比較し,マルチスピーカーコーパスで学習した非パーソナライズド外部フィルドポーズ予測器を用いた音声合成法を開発した。
本研究は, 合成音声の評価において, 自然性のための位置を正確に予測する必要性と, 個人性のための単語を正確に予測する必要性を明らかにした。
関連論文リスト
- Speech Rhythm-Based Speaker Embeddings Extraction from Phonemes and
Phoneme Duration for Multi-Speaker Speech Synthesis [16.497022070614236]
本稿では,ターゲット話者による発話数を用いて,音素長をモデル化するための音声リズムに基づく話者埋め込み手法を提案する。
提案手法の新たな特徴は、音素とその持続時間から抽出されたリズムに基づく埋め込みであり、発声リズムに関連することが知られている。
論文 参考訳(メタデータ) (2024-02-11T02:26:43Z) - Towards Spontaneous Style Modeling with Semi-supervised Pre-training for
Conversational Text-to-Speech Synthesis [53.511443791260206]
自発型音声と自発型行動ラベルの量を増やすための半教師付き事前学習法を提案する。
半教師付き学習の過程では、音声中の自発的な行動ラベルを検出するために、テキスト情報と音声情報の両方が考慮される。
論文 参考訳(メタデータ) (2023-08-31T09:50:33Z) - EXPRESSO: A Benchmark and Analysis of Discrete Expressive Speech
Resynthesis [49.04496602282718]
テキストなし音声合成のための高品質な表現型音声データセットであるExpressoを紹介する。
このデータセットは、26の自発的表現スタイルで描画された読み上げ音声と即興対話の両方を含む。
自己監督型離散エンコーダの自動計測値を用いて再生品質を評価する。
論文 参考訳(メタデータ) (2023-08-10T17:41:19Z) - Zero-shot personalized lip-to-speech synthesis with face image based
voice control [41.17483247506426]
顔画像から対応する音声を予測するLip-to-Speech(Lip2Speech)合成は、様々なモデルや訓練戦略で大きく進歩している。
顔画像が話者の身元を制御するゼロショットパーソナライズされたLip2Speech合成法を提案する。
論文 参考訳(メタデータ) (2023-05-09T02:37:29Z) - Pre-Finetuning for Few-Shot Emotional Speech Recognition [61.463533069294414]
我々は話者適応を数発の学習問題と見なしている。
そこで本研究では,知識を数発の下流分類対象に抽出する難解な課題に対する事前学習音声モデルを提案する。
論文 参考訳(メタデータ) (2023-02-24T22:38:54Z) - An Overview of Affective Speech Synthesis and Conversion in the Deep
Learning Era [39.91844543424965]
表現力(Affect)は、親密な思考、感情、感情を伝達できる媒体に音声を変換する能力を持つ。
近年のテキスト音声合成の進歩に続き、感情音声合成と変換の分野でパラダイムシフトが進行中である。
ディープラーニング(Deep Learning)は、人工知能の最近の進歩の根底にある技術で、これらの取り組みを先導している。
論文 参考訳(メタデータ) (2022-10-06T13:55:59Z) - Simple and Effective Unsupervised Speech Synthesis [97.56065543192699]
簡単なレシピに基づく教師なし音声合成システムを提案する。
本手法では, 音声音声とレキシコンのみを用いることで, 人手によるコーパスを必要とせず, 音声合成が可能となる。
論文 参考訳(メタデータ) (2022-04-06T00:19:13Z) - Towards Modelling Coherence in Spoken Discourse [48.80477600384429]
話し言葉におけるコヒーレンスは、音声の韻律的および音響的パターンに依存している。
音声に基づくコヒーレンスモデルを用いて音声対話におけるコヒーレンスをモデル化する。
論文 参考訳(メタデータ) (2020-12-31T20:18:29Z) - Learning Individual Speaking Styles for Accurate Lip to Speech Synthesis [37.37319356008348]
本研究は,話者の唇の動きのみを与えられた自然な音声を生成することを学ぶことを目的として,音声合成における唇の課題を探求する。
我々は,制約のない大規模な語彙設定において,個々の話者に対して,正確な唇配列から音声マッピングへの学習に焦点をあてる。
そこで本稿では, 音声合成の精度, 自然な唇を実現するために, 鍵となる設計選択を用いた新しい手法を提案する。
論文 参考訳(メタデータ) (2020-05-17T10:29:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。