論文の概要: Multi-interaction TTS toward professional recording reproduction

• arxiv url: http://arxiv.org/abs/2507.00808v2
• Date: Wed, 02 Jul 2025 05:42:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-03 14:22:59.668841
• Title: Multi-interaction TTS toward professional recording reproduction
• Title（参考訳）: プロの録音再生に向けたマルチインタラクションTTS
• Authors: Hiroki Kanagawa, Kenichi Fujita, Aya Watanabe, Yusuke Ijima,
• Abstract要約: 直感的かつ迅速に合成音声を洗練できる多段階対話型TS法を提案する。 提案手法は,TTSモデルとユーザ間のインタラクションをモデル化し,声優と声優の関係をエミュレートする。 実験の結果,提案したモデルと対応するデータセットは,ユーザの方向に応じて反復的なスタイルの洗練を可能にすることがわかった。
• 参考スコア（独自算出の注目度）: 12.504060761445375
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Voice directors often iteratively refine voice actors' performances by providing feedback to achieve the desired outcome. While this iterative feedback-based refinement process is important in actual recordings, it has been overlooked in text-to-speech synthesis (TTS). As a result, fine-grained style refinement after the initial synthesis is not possible, even though the synthesized speech often deviates from the user's intended style. To address this issue, we propose a TTS method with multi-step interaction that allows users to intuitively and rapidly refine synthesized speech. Our approach models the interaction between the TTS model and its user to emulate the relationship between voice actors and voice directors. Experiments show that the proposed model with its corresponding dataset enables iterative style refinements in accordance with users' directions, thus demonstrating its multi-interaction capability. Sample audios are available: https://ntt-hilab-gensp.github.io/ssw13multiinteractiontts/
• Abstract（参考訳）: 声優はしばしば、望ましい結果を達成するためのフィードバックを提供することで、声優のパフォーマンスを反復的に洗練する。 この反復的なフィードバックに基づく改善プロセスは、実際の録音では重要であるが、テキスト音声合成(TTS)では見過ごされている。 その結果、合成された音声はユーザの意図したスタイルから逸脱することが多いが、初期合成後のきめ細かいスタイルの洗練は不可能である。 この問題に対処するために,ユーザが直感的にかつ迅速に合成音声を洗練できる多段階対話型TS法を提案する。 提案手法は,TTSモデルとユーザ間のインタラクションをモデル化し,声優と声優の関係をエミュレートする。 実験により,提案モデルと対応するデータセットにより,ユーザの方向に応じて反復的なスタイルの洗練が可能となり,マルチインタラクション能力が実証された。 サンプルオーディオ:https://ntt-hilab-gensp.github.io/ssw13multiinteractionts/

関連論文リスト

• OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking [22.337906095079198]
  我々はOmniTalkerについて述べる。OmniTalkerは、入力テキストから同期音声ビデオコンテンツを共同で生成する統合フレームワークである。 本フレームワークは,2分岐拡散変換器(DiT)アーキテクチャを採用し,一方は音声生成に,もう一方はビデオ合成に用いている。
  論文  参考訳（メタデータ） (2025-04-03T09:48:13Z)
• Style-Talker: Finetuning Audio Language Model and Style-Based Text-to-Speech Model for Fast Spoken Dialogue Generation [16.724603503894166]
  Style-Talkerは、高速音声ダイアログ生成のためのスタイルベースのTSモデルとともに、オーディオLLMを微調整する革新的なフレームワークである。 実験の結果,Style-Talkerは対話の自然さとコヒーレンスの両方の観点から,従来のカスケードと音声音声のベースラインを著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2024-08-13T04:35:11Z)
• Visual-Aware Text-to-Speech [101.89332968344102]
  テキスト入力と対面コミュニケーションにおけるリスナーの視覚的フィードバックの両方で条件付き音声を合成する新しい視覚認識型音声合成(VA-TTS)タスクを提案する。 音声合成のための音素言語情報とリスナー視覚信号を融合するベースラインモデルを提案する。
  論文  参考訳（メタデータ） (2023-06-21T05:11:39Z)
• PauseSpeech: Natural Speech Synthesis via Pre-trained Language Model and Pause-based Prosody Modeling [25.966328901566815]
  本稿では,事前学習した言語モデルとポーズに基づく韻律モデルを用いた音声合成システムPuaseSpeechを提案する。 実験の結果,PauseSpeechは自然性において過去のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2023-06-13T01:36:55Z)
• Listen, Denoise, Action! Audio-Driven Motion Synthesis with Diffusion Models [22.000197530493445]
  拡散モデルは、音声と共起する人間の動きを合成するのに適していることを示す。 我々はDiffWaveアーキテクチャを3Dポーズシーケンスのモデル化に適用し、コンフォーマーを拡張畳み込みに代えてモデリング能力を向上させる。 ジェスチャーとダンス生成の実験により,提案手法が最上位の動作品質を実現することを確認した。
  論文  参考訳（メタデータ） (2022-11-17T17:41:00Z)
• Any-speaker Adaptive Text-To-Speech Synthesis with Diffusion Models [65.28001444321465]
  Grad-StyleSpeechは拡散モデルに基づく任意の話者適応型TSフレームワークである。 数秒の参照音声が与えられた場合、ターゲット話者の声と非常によく似た、非常に自然な音声を生成することができる。 英語のベンチマークでは、話者適応型TTSベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2022-11-17T07:17:24Z)
• Learning to Listen: Modeling Non-Deterministic Dyadic Facial Motion [89.01668641930206]
  本稿では,対話における対話コミュニケーションをモデル化するための枠組みを提案する。 我々は、対応するリスナー動作の複数の可能性を自動回帰的に出力する。 本手法は,非言語的ダイアド相互作用の多モーダルおよび非決定論的性質を有機的に捕捉する。
  論文  参考訳（メタデータ） (2022-04-18T17:58:04Z)
• Differentiable Duration Modeling for End-to-End Text-to-Speech [6.571447892202893]
  並列テキスト音声合成(TTS)モデルは,最近,高速で自然な音声合成を実現している。 本稿では,入力と出力のモノトニックシーケンスを学習するための可変長法を提案する。 本モデルでは,高忠実度合成を,対向学習と全地下構造時間との整合性の組み合わせにより学習する。
  論文  参考訳（メタデータ） (2022-03-21T15:14:44Z)
• Using multiple reference audios and style embedding constraints for speech synthesis [68.62945852651383]
  提案モデルでは,複数の参照音声を用いて音声の自然さとコンテンツ品質を向上させることができる。 モデルは、スタイル類似性のABX選好テストにおいてベースラインモデルよりも優れている。
  論文  参考訳（メタデータ） (2021-10-09T04:24:29Z)
• Meta-StyleSpeech : Multi-Speaker Adaptive Text-to-Speech Generation [63.561944239071615]
  StyleSpeechは、高品質な音声を合成し、新しい話者に適応する新しいTSモデルである。 SALNでは、単一音声音声からでもターゲット話者のスタイルで音声を効果的に合成する。 提案手法をMeta-StyleSpeechに拡張するには,スタイルプロトタイプで訓練された2つの識別器を導入し,エピソード訓練を行う。
  論文  参考訳（メタデータ） (2021-06-06T15:34:11Z)
• Any-to-Many Voice Conversion with Location-Relative Sequence-to-Sequence Modeling [61.351967629600594]
  本稿では,非並列音声変換手法である非並列音声変換法(seq2seq)を提案する。 本手法では,ボトルネック特徴抽出器(BNE)とセック2セック合成モジュールを組み合わせる。 主観的および主観的評価は,提案手法が自然性と話者類似性の両方において優れた音声変換性能を有することを示す。
  論文  参考訳（メタデータ） (2020-09-06T13:01:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。