論文の概要: Poly-InstructTTS: Learning In-the-Wild Expressive Speech Synthesis from Open-Ended Instructions

• arxiv url: http://arxiv.org/abs/2608.20387v1
• Date: Tue, 30 Jun 2026 09:35:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.294887
• Title: Poly-InstructTTS: Learning In-the-Wild Expressive Speech Synthesis from Open-Ended Instructions
• Title（参考訳）: ポリインストラクトTTS:オープンエンディングインストラクションからのインザウィルド表現型音声合成学習
• Abstract要約: Poly-InstructTTSは、Wildオーディオヴィジュアルデータを用いて、オープンエンド命令から表現型音声を学習する。 スケーラブルなマルチモーダルパイプラインを構築し、1000時間以上の微粒な感情とスタイルを含む命令注釈付きコーパスを構築する。
• 参考スコア（独自算出の注目度）: 14.084509325228288
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While recent text-to-speech (TTS) models achieve high naturalness, controlling fine-grained expression via natural-language instructions remains challenging. We introduce Poly- InstructTTS, which learns expressive speech from open-ended instructions using in-the-wild audiovisual data. We build a scalable multi-modal pipeline to construct a 1,000-hour instruction-annotated corpus covering 1,000+ fine-grained emotions and styles. The framework uses a prompt-free GPT with attribute-based thinking tokens, followed by a flow-matching module that injects timbre from a reference audio. We also present a speaker fine-tuning procedure to transfer instruction control to specific speakers while preserving persona. We further extend InstructTTSEval with broader tasks. Experiments show that Poly-InstructTTS delivers strong performance in instruction adherence and expressiveness. Audio demos and the expanded testset are available on our project page.
• Abstract（参考訳）: 最近のTTSモデルは高い自然性を達成するが、自然言語によるきめ細かい表現の制御は依然として困難である。 In-the-wild Audiovisual data を用いてオープンエンド命令から表現型音声を学習するPoly-InstructTTSを提案する。 スケーラブルなマルチモーダルパイプラインを構築し、1000時間以上の微粒な感情とスタイルを含む命令注釈付きコーパスを構築する。 このフレームワークは、属性ベースのシンキングトークンを備えたプロンプトフリーのGPTを使用し、続いて参照オーディオから音色を注入するフローマッチングモジュールを使用する。 また、ペルソナを保存しながら、特定の話者に指示制御を伝達するための話者微調整手順も提示する。 より広いタスクでInstructTTSEvalをさらに拡張します。 実験により,Poly-InstructTTSは命令順守と表現性において高い性能を示すことが示された。 オーディオデモと拡張されたテストセットは、プロジェクトのページで公開されています。

関連論文リスト

• InstructAudio: Unified speech and music generation with natural language instruction [52.76518112649456]
  InstructAudioは、音響属性の命令ベースの制御を可能にする統一的なフレームワークである。 英語と中国語で表現力のある音声、音楽、対話生成をサポートする。
  論文  参考訳（メタデータ） (2025-11-23T15:15:21Z)
• BatonVoice: An Operationalist Framework for Enhancing Controllable Speech Synthesis with Linguistic Intelligence from LLMs [84.59993864748195]
  音声生成から命令理解を分離する「操作主義」に着想を得た新しいパラダイムを提案する。 本稿では,LLMが導体として機能するフレームワークであるBatonVoiceを紹介し,ユーザの指示を理解する。 別個のTSモデルである「オーケストラ」は、これらの特徴から音声を生成する。
  論文  参考訳（メタデータ） (2025-09-30T16:52:14Z)
• InstructTTSEval: Benchmarking Complex Natural-Language Instruction Following in Text-to-Speech Systems [48.42417538526542]
  テキスト音声システムは、固定されたスタイルのラベルに依存したり、これらのキューを制御するために音声プロンプトを挿入する。 近年の試みでは、パラ言語的特徴を修飾する自然言語命令の活用が試みられている。 InstructTTSEvalは、複雑な自然言語スタイル制御の能力を測定するためのベンチマークである。
  論文  参考訳（メタデータ） (2025-06-19T15:08:01Z)
• UITron-Speech: Towards Automated GUI Agents Based on Speech Instructions [12.478126922751986]
  GUIエージェントの命令入力モダリティとしてテキストを音声に置き換えることを提案する。 UITron-Speechは,音声命令やオンデバイススクリーンショットを直接処理してユーザの行動を予測できる,初のエンドツーエンドGUIエージェントである。
  論文  参考訳（メタデータ） (2025-06-10T12:16:27Z)
• DeSTA2: Developing Instruction-Following Speech Language Model Without Speech Instruction-Tuning Data [84.01401439030265]
  最近のエンドツーエンド言語モデル(SLM)は、大規模言語モデル(LLM)の機能に拡張されている。 音声とテキストのペアデータを生成するための,シンプルで効果的な自動処理手法を提案する。 本モデルでは,音声教育データを必要としない音声関連タスクの汎用性を示す。
  論文  参考訳（メタデータ） (2024-09-30T07:01:21Z)
• Large Language Model Can Transcribe Speech in Multi-Talker Scenarios with Versatile Instructions [68.98811048970963]
  我々は,多話者環境における音声の書き起こしにおける大規模言語モデル(LLM)の能力について,先駆的な研究を行う。 We use WavLM and Whisper encoder to extract multi-faceted speech representations that sensitive to speaker characteristics and semantic context。 提案システムであるMT-LLMのカクテルパーティーシナリオにおける有望な性能について実験を行った。
  論文  参考訳（メタデータ） (2024-09-13T07:28:28Z)
• Instruction-Following Speech Recognition [21.591086644665197]
  本稿では,命令追従音声認識を導入し,多様な自由形式のテキスト命令の理解と実行を行うリステン・アテンド・スペルモデルを訓練する。 注目すべきは、我々のモデルは、Librispeechでゼロから訓練され、大規模言語モデルや事前訓練された音声モジュールを必要とせずに、簡単な命令を解釈し、実行します。
  論文  参考訳（メタデータ） (2023-09-18T14:59:10Z)
• WAVPROMPT: Towards Few-Shot Spoken Language Understanding with Frozen Language Models [57.557319372969495]
  大量のテキストで事前訓練された大規模自動回帰言語モデルは、新しい自然言語タスクを実行するという印象的な能力を示している。 近年の研究では、エンコーダを訓練し、画像のエンコードを埋め込みにすることで、このような数発の学習能力をテキスト画像設定にまで拡張できることが示されている。 そこで我々は,wav2vecモデルを微調整して,言語モデルによって理解された音声埋め込みのシーケンスを生成する,新しい音声理解フレームワークWavPromptを提案する。
  論文  参考訳（メタデータ） (2022-03-29T19:08:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。