論文の概要: CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation
- arxiv url: http://arxiv.org/abs/2608.11590v2
- Date: Thu, 13 Aug 2026 01:32:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 14:00:09.764898
- Title: CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation
- Title（参考訳）: CookVoice: スタイル制御可能なマルチモーダル音声生成のための統一フレームワーク
- Abstract要約: CookVoiceは、マルチモーダル、マルチスタイル、マルチタスクのヒューマン音声生成のための統一されたフレームワークである。
人間の声は、内容、韻律、スタイルの3つの重要な要素に分解される。
CookVoiceはテキスト音声、テキスト音声、スタイル制御可能な生成、音声模倣、音声変換、音声編集をサポートする。
- 参考スコア（独自算出の注目度）: 18.80525296281322
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Human voice generation has made rapid progress in speech generation, singing voice generation, voice cloning, and voice editing. However, most existing systems are designed for specific tasks and often rely on task-dependent architectures, control signals, or autoregressive decoding, limiting fine-grained controllability and inference efficiency. In this paper, we propose CookVoice, a unified framework for multimodal, multi-style, and multi-task human voice generation. CookVoice decomposes the human voice into three key factors: content, prosody, and style, enabling both speech and singing voice generation within a unified model. To achieve precise and flexible controllability, we design a flexible alignment strategy that maps text, style, and prosody control signals onto the frame-level of spectrogram. This design allows CookVoice to support a wide range of tasks, including text-to-speech, text-to-singing voice, style-controllable generation, voice mimicry, voice conversion, and voice editing. Experimental results show that CookVoice achieves generation quality comparable to existing Text-to-Speech and text-to-singing voice baselines, while providing stronger style and prosody controllability. Moreover, CookVoice achieves comparable performance to large-scale baselines with only 43.51 million parameters and efficient inference using as few as 4 ODE steps, making it a practical solution for real-world human voice generation applications. Demo page is available at https://haoweilou.github.io/CookVoice/.
- Abstract（参考訳）: 人間の音声生成は、音声生成、歌声生成、音声クローニング、音声編集において急速に進歩した。
しかし、既存のシステムの多くは特定のタスクのために設計されており、しばしばタスク依存アーキテクチャ、制御信号、自動回帰復号化に依存し、きめ細かい制御性と推論効率を制限している。
本稿では,マルチモーダル,マルチスタイル,マルチタスク音声生成のための統合フレームワークであるCookVoiceを提案する。
CookVoiceは、人間の声をコンテンツ、韻律、スタイルの3つの重要な要素に分解する。
高精度でフレキシブルな制御性を実現するために,テキスト,スタイル,韻律制御信号をスペクトルのフレームレベルにマッピングするフレキシブルなアライメント戦略を設計する。
この設計によりCookVoiceは、テキスト音声、テキスト音声、スタイル制御可能な生成、音声模倣、音声変換、音声編集など、幅広いタスクをサポートすることができる。
実験の結果,CookVoiceは既存のテキスト音声とテキスト音声のベースラインに匹敵する生成品質を達成し,より強いスタイルと韻律制御性を提供することがわかった。
さらに、CookVoiceは、435万のパラメータと4つのODEステップの効率的な推論で大規模ベースラインに匹敵する性能を実現しており、実際の人間の音声生成アプリケーションに実用的なソリューションとなっている。
デモページはhttps://haoweilou.github.io/CookVoice/で公開されている。
関連論文リスト
- VoiceDesigner: Text-to-Voice Generation and Editing via Unified Diffusion Modeling and Data Augmentation [33.076169399416855]
既存のシステムは、現実世界の人間の話者や架空のキャラクターにまたがる多様な声を生み出すのに苦労している。
本稿では,多種多様な制御可能な音声設計をサポートするテキスト音声生成と編集のための統合フレームワークであるVoiceDesignerを提案する。
論文 参考訳（メタデータ） (2026-08-12T18:04:18Z) - UniVoice: A Unified Model for Speech and Singing Voice Generation [11.813888122703302]
条件付きフローマッチングに基づく統一音声・歌唱音声生成フレームワークUniVoiceを提案する。
歌唱では、メロディ条件はMIDIノートシーケンスで表され、音声では、学習されたヌルメロディトークンに置き換えられる。
UniVoiceは、F5-TTS (5.21%)やCosyVoice3 (5.30%)のような専用のTSSシステムに匹敵する5.26%のスピーチPERを達成する
論文 参考訳（メタデータ） (2026-06-04T08:27:17Z) - X-Voice: Enabling Everyone to Speak 30 Languages via Zero-Shot Cross-Lingual Voice Cloning [62.740127542449166]
X-Voiceは、任意の音声をクローンし、誰でも30の言語を話せる多言語ゼロショット音声クローンモデルである。
X-Voiceは国際音声アルファベット(IPA)を統一表現として420K時間多言語コーパスで訓練されている。
論文 参考訳（メタデータ） (2026-05-07T02:57:53Z) - MOSS-VoiceGenerator: Create Realistic Voices with Natural Language Descriptions [60.69565588088127]
MOSS-VoiceGeneratorは、自然言語プロンプトから直接新しい音色を生成するオープンソースの命令駆動音声生成モデルである。
実世界の音響変化に曝露すると、より知覚的に自然な音声が生まれるという仮説に触発され、映画コンテンツから得られた大規模表現音声データに基づいて訓練を行う。
主観的嗜好研究は、他の音声設計モデルと比較して、全体的な性能、指示追従、自然性においてその優位性を示す。
論文 参考訳（メタデータ） (2026-03-30T06:40:59Z) - Revival with Voice: Multi-modal Controllable Text-to-Speech Synthesis [52.25128289155576]
本稿では,顔画像から音声を生成するマルチモーダル制御可能なテキスト音声合成(TTS)について検討する。
顔駆動型TSシステムにおける以下の3つの課題を軽減することを目的としている。
顔駆動音声合成におけるモデルの有効性を実験的に検証した。
論文 参考訳（メタデータ） (2025-05-25T04:43:17Z) - FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs [63.8261207950923]
FunAudioLLMは、人間と大規模言語モデル(LLM)の間の自然な音声相互作用を強化するために設計されたモデルファミリーである
中心となる2つの革新的なモデルとして、多言語音声認識、感情認識、音声イベント検出を処理するSenseVoiceと、複数の言語、音色、話し方、話者識別を制御した自然言語生成を容易にするCosyVoiceがある。
SenseVoiceとCosyVoiceに関連するモデルは、GitHubでリリースされたトレーニング、推論、微調整コードとともに、ModelscopeとHuggingfaceでオープンソース化されている。
論文 参考訳（メタデータ） (2024-07-04T16:49:02Z) - Prompt-Singer: Controllable Singing-Voice-Synthesis with Natural Language Prompt [50.25271407721519]
本稿では,歌手の性別,声域,音量を自然言語で制御できる最初のSVS手法であるPrompt-Singerを提案する。
我々は,マルチスケール階層を持つデコーダのみの変換器に基づくモデルアーキテクチャを採用し,レンジメロディデカップリングされたピッチ表現を設計する。
実験により,本モデルは良好な制御能力と音質が得られることが示された。
論文 参考訳（メタデータ） (2024-03-18T13:39:05Z) - OpenVoice: Versatile Instant Voice Cloning [22.217256641284106]
本稿では,多目的音声クローニング手法であるOpenVoiceを紹介する。
音声を再現し、複数の言語で音声を生成するために、参照話者からの短い音声クリップしか必要としない。
OpenVoiceは世界中の200万人以上のユーザーがMyShell.aiの音声エンジンとして使っている。
論文 参考訳（メタデータ） (2023-12-03T18:41:54Z) - Make-A-Voice: Unified Voice Synthesis With Discrete Representation [77.3998611565557]
Make-A-Voiceは、個別表現から音声信号を合成・操作するための統合されたフレームワークである。
我々は,Make-A-Voiceは,競合するベースラインモデルと比較して,音質とスタイルの類似性が優れていることを示す。
論文 参考訳（メタデータ） (2023-05-30T17:59:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。