論文の概要: Global Rhythm Style Transfer Without Text Transcriptions

• arxiv url: http://arxiv.org/abs/2106.08519v1
• Date: Wed, 16 Jun 2021 02:21:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-17 17:07:43.289301
• Title: Global Rhythm Style Transfer Without Text Transcriptions
• Title（参考訳）: テキスト転写のないグローバルリズムスタイルの転送
• Authors: Kaizhi Qian, Yang Zhang, Shiyu Chang, Jinjun Xiong, Chuang Gan, David Cox, Mark Hasegawa-Johnson
• Abstract要約: 韻律は、話者や感情のスタイルを特徴づける上で重要な役割を果たしている。 ほとんどの非並列音声や感情スタイルの転送アルゴリズムは韻律情報を変換しない。 テキストの書き起こしに頼らずに、グローバルな韻律スタイルを音声から切り離すことができるAutoPSTを提案する。
• 参考スコア（独自算出の注目度）: 98.09972075975976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prosody plays an important role in characterizing the style of a speaker or an emotion, but most non-parallel voice or emotion style transfer algorithms do not convert any prosody information. Two major components of prosody are pitch and rhythm. Disentangling the prosody information, particularly the rhythm component, from the speech is challenging because it involves breaking the synchrony between the input speech and the disentangled speech representation. As a result, most existing prosody style transfer algorithms would need to rely on some form of text transcriptions to identify the content information, which confines their application to high-resource languages only. Recently, SpeechSplit has made sizeable progress towards unsupervised prosody style transfer, but it is unable to extract high-level global prosody style in an unsupervised manner. In this paper, we propose AutoPST, which can disentangle global prosody style from speech without relying on any text transcriptions. AutoPST is an Autoencoder-based Prosody Style Transfer framework with a thorough rhythm removal module guided by the self-expressive representation learning. Experiments on different style transfer tasks show that AutoPST can effectively convert prosody that correctly reflects the styles of the target domains.
• Abstract（参考訳）: 韻律は話者や感情のスタイルを特徴づける上で重要な役割を果たすが、ほとんどの非並列音声や感情スタイルの伝達アルゴリズムは韻律情報を変換しない。 韻律の主な要素はピッチとリズムである。 韻律情報、特にリズム成分を音声から遠ざけることは、入力された音声と非絡み合った音声表現との同期を壊すため困難である。 結果として、既存のprosodyスタイル転送アルゴリズムの多くは、コンテンツ情報を特定するために、何らかの形式のテキスト転写に依存する必要がある。 近年, speechsplitは, 教師なしのプロソディスタイルへの移行に向けて大きな進歩を遂げているが, 教師なしの方法でハイレベルなグローバルプロソディスタイルを抽出できない。 本稿では,テキストの書き起こしに頼ることなく,グローバルな韻律スタイルを音声から切り離すことができるAutoPSTを提案する。 AutoPST は Autoencoder ベースの Prosody Style Transfer フレームワークで,自己表現型表現学習によってガイドされる完全なリズム除去モジュールを備えている。 異なるスタイル転送タスクの実験は、AutoPSTがターゲットドメインのスタイルを正しく反映した韻律を効果的に変換できることを示している。

関連論文リスト

• MSSRNet: Manipulating Sequential Style Representation for Unsupervised Text Style Transfer [82.37710853235535]
  教師なしのテキストスタイル転送タスクは、メインのコンテンツを保持しながらテキストをターゲットのスタイルに書き換えることを目的としている。 従来の方法では、固定サイズのベクトルを使ってテキストスタイルを規制するが、個々のトークンのスタイル強度を正確に伝達することは困難である。 提案手法は,テキスト中の各トークンに個々のスタイルベクトルを割り当てることでこの問題に対処する。
  論文  参考訳（メタデータ） (2023-06-12T13:12:29Z)
• Discrete Cross-Modal Alignment Enables Zero-Shot Speech Translation [71.35243644890537]
  エンドツーエンド音声翻訳(ST)は、中間転写を生成することなく、ソース言語音声を対象言語テキストに翻訳することを目的としている。 既存のゼロショット法は、音声とテキストの2つのモダリティを共有意味空間に合わせることに失敗する。 音声とテキストの両方のモダリティに適合する離散語彙空間を共用した離散的クロスモーダルアライメント(DCMA)法を提案する。
  論文  参考訳（メタデータ） (2022-10-18T03:06:47Z)
• StoryTrans: Non-Parallel Story Author-Style Transfer with Discourse Representations and Content Enhancing [73.81778485157234]
  長文は通常、文よりも談話構造のような複雑な著者の言語的嗜好を含んでいる。 我々は、入力されたストーリーを特定の著者スタイルに転送する必要があるノン並列ストーリー作者スタイル転送のタスクを定式化する。 モデルが自動エンコーダに退化することを防ぐために,学習した談話表現からスタイル的特徴を引き離すための追加の学習目標を用いる。
  論文  参考訳（メタデータ） (2022-08-29T08:47:49Z)
• Text-driven Emotional Style Control and Cross-speaker Style Transfer in Neural TTS [7.384726530165295]
  合成音声のスタイル制御は、しばしば個別の感情カテゴリーに制限される。 マルチスピーカTTSにおける感情的スタイル制御とクロススピーカースタイル転送のためのテキストベースインタフェースを提案する。
  論文  参考訳（メタデータ） (2022-07-13T07:05:44Z)
• Self-supervised Context-aware Style Representation for Expressive Speech Synthesis [23.460258571431414]
  本稿では,平文からスタイル表現を自己教師型で学習するための新しいフレームワークを提案する。 感情のレキシコンを活用し、対照的な学習と深いクラスタリングを使用する。 本手法は,音声ブック音声におけるドメイン内およびドメイン外テストセットの主観的評価に基づいて,改善された結果を実現する。
  論文  参考訳（メタデータ） (2022-06-25T05:29:48Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• Zero-Shot Text-to-Speech for Text-Based Insertion in Audio Narration [62.75234183218897]
  話者の訓練データなしで自然かつ一貫性のあるターゲット音声を生成する一段階の文脈認識フレームワークを提案する。 変換器をベースとしたデコーダを用いて,編集音声のメルスペクトルを生成する。 これは最近のゼロショット TTS エンジンを大きなマージンで上回っている。
  論文  参考訳（メタデータ） (2021-09-12T04:17:53Z)
• AlloST: Low-resource Speech Translation without Source Transcription [17.53382405899421]
  言語に依存しないユニバーサル電話認識機能を利用する学習フレームワークを提案する。 このフレームワークは注意に基づくシーケンス・トゥ・シークエンスモデルに基づいている。 スペイン英語とタイギ・マンダリンのドラマ『コーポラ』で行った実験では、本手法がコンフォーメータベースのベースラインよりも優れていた。
  論文  参考訳（メタデータ） (2021-05-01T05:30:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。