論文の概要: VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation

• arxiv url: http://arxiv.org/abs/2608.13613v1
• Date: Wed, 12 Aug 2026 18:04:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-17 20:14:29.163864
• Title: VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation
• Title（参考訳）: VoiceDesigner: 統一拡散モデリングとデータ拡張によるテキスト-音声生成と編集
• Abstract要約: 既存のシステムは、現実世界の人間の話者や架空のキャラクターにまたがる多様な声を生み出すのに苦労している。 本稿では,多種多様な制御可能な音声設計をサポートするテキスト音声生成と編集のための統合フレームワークであるVoiceDesignerを提案する。
• 参考スコア（独自算出の注目度）: 33.076169399416855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent breakthroughs in generative models have made text-to-voice generation (TTV) possible, enabling the synthesis of speech directly from textual voice descriptions. However, existing systems face two key challenges. First, they struggle to generate a diverse range of voices, spanning real-world human speakers and fictional characters. Second, they lack robust and flexible voice editing capabilities, such as voice cloning and the ability to modify attributes like emotion and tone. In this paper, we propose VoiceDesigner, a unified framework for text-to-voice generation and editing that supports diverse and controllable voice design. To tackle the above challenges, we propose solutions from two perspectives. First, we develop a hybrid data pipeline that leverages digital signal processing techniques and speech generation models to construct a diverse voice dataset covering both real-world and fictional voices. Second, we introduce a diffusion transformer with architectural improvements to better handle complex conditioning and enhance multi-task performance, enabling unified voice generation and editing. Through subjective and objective evaluations, VoiceDesigner achieves superior prompt alignment with both voice descriptions and editing instructions, while maintaining competitive perceptual quality and voice usability compared to state-of-the-art TTV models.
• Abstract（参考訳）: 生成モデルにおける最近のブレークスルーにより、テキスト音声記述から直接音声を合成できるTTV(text-to-voice Generation)が可能になった。 しかし、既存のシステムは2つの大きな課題に直面している。 まず、現実世界の人間の話者と架空のキャラクターにまたがる多様な声を生み出すのに苦労する。 第二に、音声のクローン化や感情やトーンなどの属性を変更できる機能など、堅牢で柔軟な音声編集機能がない。 本稿では,多種多様な制御可能な音声設計をサポートするテキスト音声生成と編集のための統合フレームワークであるVoiceDesignerを提案する。 上記の課題に対処するため、我々は2つの観点から解決策を提案する。 まず,デジタル信号処理技術と音声生成モデルを活用するハイブリッドデータパイプラインを構築し,実世界の音声と架空の音声の両方をカバーする多様な音声データセットを構築する。 第2に,複雑なコンディショニングの処理を改善し,マルチタスク性能を向上し,統一音声生成と編集を可能にした拡散トランスフォーマを導入する。 主観的および客観的評価を通じて、VoiceDesignerは、最先端のTTVモデルと比較して、競争力のある知覚品質と音声のユーザビリティを維持しながら、音声記述と編集指示の両方に優れた即時対応を実現する。

関連論文リスト

• CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation [18.80525296281322]
  CookVoiceは、マルチモーダル、マルチスタイル、マルチタスクのヒューマン音声生成のための統一されたフレームワークである。 人間の声は、内容、韻律、スタイルの3つの重要な要素に分解される。 CookVoiceはテキスト音声、テキスト音声、スタイル制御可能な生成、音声模倣、音声変換、音声編集をサポートする。
  論文  参考訳（メタデータ） (2026-08-12T02:58:45Z)
• MOSS-VoiceGenerator: Create Realistic Voices with Natural Language Descriptions [60.69565588088127]
  MOSS-VoiceGeneratorは、自然言語プロンプトから直接新しい音色を生成するオープンソースの命令駆動音声生成モデルである。 実世界の音響変化に曝露すると、より知覚的に自然な音声が生まれるという仮説に触発され、映画コンテンツから得られた大規模表現音声データに基づいて訓練を行う。 主観的嗜好研究は、他の音声設計モデルと比較して、全体的な性能、指示追従、自然性においてその優位性を示す。
  論文  参考訳（メタデータ） (2026-03-30T06:40:59Z)
• Revival with Voice: Multi-modal Controllable Text-to-Speech Synthesis [52.25128289155576]
  本稿では,顔画像から音声を生成するマルチモーダル制御可能なテキスト音声合成(TTS)について検討する。 顔駆動型TSシステムにおける以下の3つの課題を軽減することを目的としている。 顔駆動音声合成におけるモデルの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2025-05-25T04:43:17Z)
• A Unified Model For Voice and Accent Conversion In Speech and Singing using Self-Supervised Learning and Feature Extraction [0.0]
  本稿では,話し声と歌声の両方を変換できる新しい音声変換モデルを提案する。 このモデルの特長の1つは、ハイブリッド音声サンプルでアクセント変換を行う能力である。
  論文  参考訳（メタデータ） (2024-12-11T11:47:39Z)
• Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
  本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。 我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。 実験により,本モデルは良好な制御能力と音質が得られることが示された。
  論文  参考訳（メタデータ） (2024-03-18T13:39:05Z)
• Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
  Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。 我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T17:59:26Z)
• Limited Data Emotional Voice Conversion Leveraging Text-to-Speech: Two-stage Sequence-to-Sequence Training [91.95855310211176]
  感情的音声変換は、言語内容と話者のアイデンティティを保ちながら、発話の感情状態を変えることを目的としている。 本研究では,感情音声データ量の少ない連続音声変換のための新しい2段階学習戦略を提案する。 提案フレームワークはスペクトル変換と韻律変換の両方が可能であり、客観的評価と主観評価の両方において最先端のベースラインを大幅に改善する。
  論文  参考訳（メタデータ） (2021-03-31T04:56:14Z)
• VoiceCoach: Interactive Evidence-based Training for Voice Modulation Skills in Public Speaking [55.366941476863644]
  ピッチ,ボリューム,速度などの音声特性の変調は,公的な発話を成功させる上で極めて重要である。 音声変調スキルの効果的な訓練を容易にする対話型エビデンスに基づくアプローチであるVoiceCoachを提案する。
  論文  参考訳（メタデータ） (2020-01-22T04:52:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。