論文の概要: VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing

• arxiv url: http://arxiv.org/abs/2511.12347v1
• Date: Sat, 15 Nov 2025 20:27:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-18 14:36:23.983864
• Title: VoiceCraft-X: Unifying Multilingual, Voice-Cloning Speech Synthesis and Speech Editing
• Title（参考訳）: VoiceCraft-X:多言語音声合成と音声編集の統合
• Authors: Zhisheng Zheng, Puyuan Peng, Anuj Diwan, Cong Phuoc Huynh, Xiaohang Sun, Zhu Liu, Vimal Bhat, David Harwath,
• Abstract要約: VoiceCraft-Xは、多言語音声編集とテキスト音声合成を統合する自動回帰型ニューラルネットワークモデルである。 VoiceCraft-Xは、言語毎に限られたデータであっても、多様な言語設定で堅牢なパフォーマンスを示す。
• 参考スコア（独自算出の注目度）: 37.022292043526186
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We introduce VoiceCraft-X, an autoregressive neural codec language model which unifies multilingual speech editing and zero-shot Text-to-Speech (TTS) synthesis across 11 languages: English, Mandarin, Korean, Japanese, Spanish, French, German, Dutch, Italian, Portuguese, and Polish. VoiceCraft-X utilizes the Qwen3 large language model for phoneme-free cross-lingual text processing and a novel token reordering mechanism with time-aligned text and speech tokens to handle both tasks as a single sequence generation problem. The model generates high-quality, natural-sounding speech, seamlessly creating new audio or editing existing recordings within one framework. VoiceCraft-X shows robust performance in diverse linguistic settings, even with limited per-language data, underscoring the power of unified autoregressive approaches for advancing complex, real-world multilingual speech applications. Audio samples are available at https://zhishengzheng.com/voicecraft-x/.
• Abstract（参考訳）: 日本語,日本語,フランス語,ドイツ語,オランダ語,イタリア語,ポルトガル語,ポーランド語を含む11言語を対象に,多言語音声編集とゼロショット音声合成を統合した自動回帰型ニューラルコーデック言語モデルであるVoiceCraft-Xを紹介する。 VoiceCraft-X は Qwen3 の大規模言語モデルを用いて,音素を含まない言語間テキスト処理と,時刻整列したテキストおよび音声トークンを用いた新しいトークン並べ替え機構を用いて,両方のタスクを単一シーケンス生成問題として扱う。 モデルは高品質で自然な音声を生成し、シームレスに新しいオーディオを作成したり、既存の録音を1つのフレームワーク内で編集する。 VoiceCraft-Xは、言語ごとのデータに制限があるにもかかわらず、多様な言語環境での堅牢なパフォーマンスを示し、複雑な実世界の多言語音声アプリケーションを進めるための統合された自己回帰的アプローチの力を強調している。 オーディオサンプルはhttps://zhishengzheng.com/voicecraft-x/で入手できる。

関連論文リスト

• FunAudioLLM: Voice Understanding and Generation Foundation Models for Natural Interaction Between Humans and LLMs [63.8261207950923]
  FunAudioLLMは、人間と大規模言語モデル(LLM)の間の自然な音声相互作用を強化するために設計されたモデルファミリーである 中心となる2つの革新的なモデルとして、多言語音声認識、感情認識、音声イベント検出を処理するSenseVoiceと、複数の言語、音色、話し方、話者識別を制御した自然言語生成を容易にするCosyVoiceがある。 SenseVoiceとCosyVoiceに関連するモデルは、GitHubでリリースされたトレーニング、推論、微調整コードとともに、ModelscopeとHuggingfaceでオープンソース化されている。
  論文  参考訳（メタデータ） (2024-07-04T16:49:02Z)
• Textless Unit-to-Unit training for Many-to-Many Multilingual Speech-to-Speech Translation [65.13824257448564]
  本稿では,多言語多言語音声音声合成のためのテキストレス学習手法を提案する。 音声単位を擬似テキストとして扱うことにより、音声の言語内容に焦点を合わせることができる。 提案するUTUTモデルは,音声音声合成(S2ST)だけでなく,多言語音声合成(T2S)やテキスト音声合成(T2ST)にも有効であることを示す。
  論文  参考訳（メタデータ） (2023-08-03T15:47:04Z)
• AudioPaLM: A Large Language Model That Can Speak and Listen [79.44757696533709]
  本稿では,音声理解・生成のための大規模言語モデルであるAudioPaLMを紹介する。 AudioPaLMはテキストベースの言語モデルと音声ベースの言語モデルを融合する。 音声認識や音声音声翻訳などの応用により、テキストと音声を処理および生成することができる。
  論文  参考訳（メタデータ） (2023-06-22T14:37:54Z)
• PolyVoice: Language Models for Speech to Speech Translation [50.31000706309143]
  PolyVoiceは音声音声翻訳のための言語モデルに基づくフレームワーク 我々は、完全に教師なしの方法で生成される離散化音声単位を使用する。 音声合成部では、既存のVALL-E Xアプローチを採用し、単位ベース音声言語モデルを構築する。
  論文  参考訳（メタデータ） (2023-06-05T15:53:15Z)
• Speak Foreign Languages with Your Own Voice: Cross-Lingual Neural Codec Language Modeling [92.55131711064935]
  本稿では,言語間音声合成のための言語間ニューラルネットワークモデル VALL-E X を提案する。 VALL-E Xは、強い文脈内学習能力を継承し、ゼロショット言語間テキスト音声合成やゼロショット音声音声音声翻訳タスクに応用できる。 未知の話者の声、感情、音響環境を保ちながら、ソース言語の1つの発話をプロンプトとして、ターゲット言語で高品質な音声を生成することができる。
  論文  参考訳（メタデータ） (2023-03-07T14:31:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。