論文の概要: Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model

• arxiv url: http://arxiv.org/abs/2607.26742v1
• Date: Wed, 29 Jul 2026 10:33:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-30 21:06:25.626994
• Title: Zero-Shot Face-to-Speech Synthesis via Latent Space Adaptation of a Style-Diffusion TTS Model
• Title（参考訳）: スタイル拡散TSモデルの潜時空間適応によるゼロショット音声合成
• Abstract要約: 静的な顔画像から可読音声を予測するFace-to-Speechフレームワークを提案する。 軽量のFace Adapterは、顔認識機能を冷凍されたStyleTTS 2モデルのスタイル空間と整合させる。 TEDトークビデオの大規模音声映像コーパスであるLSS3のホールドアウトアイデンティティについて検討した。
• 参考スコア（独自算出の注目度）: 0.5729426778193398
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Zero-shot text-to-speech (TTS) clones a voice from a short audio prompt, but this reliance on reference audio is a barrier when only visual information is available, e.g. for historical figures or video-game characters. In this work, we propose a Face-to-Speech (F2S) framework that predicts a plausible voice from a static facial image. A lightweight Face Adapter, together with soft-tuning of the face encoder's upper blocks, aligns face-recognition features with the style space of a frozen StyleTTS 2 model, kept frozen during training. We evaluate on held-out identities from LRS3, a large-scale audiovisual corpus of English TED-talk videos. The synthesized speech is highly natural (UTMOS 3.7-4.0, matching or exceeding the 3.61 of ground truth), face-to-voice retrieval is consistently above chance, and the generated voice is consistent with the target speaker. Without any retraining, an English-trained adapter also produces fluent Spanish speech, indicating that the face-to-style mapping is largely language-agnostic.
• Abstract（参考訳）: Zero-shot text-to-speech (TTS) は短い音声プロンプトから音声をクローンするが、この参照音声への依存は、歴史的人物やビデオゲームのキャラクターなど、視覚情報のみが利用できる場合の障壁となる。 本研究では,静的な顔画像から可塑性音声を予測するFace-to-Speech (F2S) フレームワークを提案する。 ライトウェイトなFace Adapterは、フェイスエンコーダの上部ブロックのソフトチューニングとともに、顔認識機能を冷凍されたStyleTTS 2モデルのスタイルスペースと整列させ、トレーニング中に凍結し続ける。 TEDトークビデオの大規模音声映像コーパスであるLSS3のホールドアウトアイデンティティについて検討した。 合成音声は、非常に自然な(UTMOS 3.7-4.0、地上の真理の3.61に一致するか超える)、対面音声検索は、常に高い確率で、生成した音声は、ターゲット話者と一致している。 英語で訓練されたアダプタは、ほとんど言語に依存しない顔からスタイルのマッピングであることを示すような、流麗なスペイン語のスピーチも生成する。

関連論文リスト

• Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering [53.2204901422631]
  Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2025-08-04T12:50:22Z)
• Revival with Voice: Multi-modal Controllable Text-to-Speech Synthesis [52.25128289155576]
  本稿では,顔画像から音声を生成するマルチモーダル制御可能なテキスト音声合成(TTS)について検討する。 顔駆動型TSシステムにおける以下の3つの課題を軽減することを目的としている。 顔駆動音声合成におけるモデルの有効性を実験的に検証した。
  論文  参考訳（メタデータ） (2025-05-25T04:43:17Z)
• CosyVoice 3: Towards In-the-wild Speech Generation via Scaling-up and Post-training [70.31925012315064]
  野生におけるゼロショット多言語音声合成のための改良モデルであるCosyVoice 3を提案する。 CosyVoice 3の主な特徴は、韻律自然性を改善する新しい音声トークンである。 データは1万時間から100万時間に拡張され、9つの言語と18の中国語方言を含んでいる。
  論文  参考訳（メタデータ） (2025-05-23T07:55:21Z)
• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Face-StyleSpeech: Enhancing Zero-shot Speech Synthesis from Face Images with Improved Face-to-Speech Mapping [37.57813713418656]
  顔画像に条件付けされた自然な音声を生成するゼロショットテキスト音声合成モデルであるFace-StyleSpeechを提案する。 本研究では, 顔画像から, ベースラインよりも自然な音声を効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-09-25T13:46:00Z)
• Zero-shot personalized lip-to-speech synthesis with face image based voice control [41.17483247506426]
  顔画像から対応する音声を予測するLip-to-Speech(Lip2Speech)合成は、様々なモデルや訓練戦略で大きく進歩している。 顔画像が話者の身元を制御するゼロショットパーソナライズされたLip2Speech合成法を提案する。
  論文  参考訳（メタデータ） (2023-05-09T02:37:29Z)
• Imaginary Voice: Face-styled Diffusion Model for Text-to-Speech [33.01930038988336]
  我々は、Face-TTSと呼ばれる統合フレームワーク内に、顔スタイルの拡散テキスト音声(TTS)モデルを導入する。 我々は、顔画像と生成された音声セグメント間の話者識別を保持するために、クロスモデルバイオメトリックスとTSモデルを共同で訓練する。 生体情報を直接顔画像から抽出するので、未確認話者や未聴者から音声を生成するために、余分な微調整は不要である。
  論文  参考訳（メタデータ） (2023-02-27T11:59:28Z)
• GenerSpeech: Towards Style Transfer for Generalizable Out-Of-Domain Text-to-Speech Synthesis [68.42632589736881]
  本稿では,OODカスタム音声の高忠実度ゼロショットスタイル転送に向けたテキスト音声合成モデルGenerSpeechを提案する。 GenerSpeechは、2つのコンポーネントを導入することで、音声のバリエーションをスタイルに依存しない部分とスタイル固有の部分に分解する。 ゼロショット方式の転送について評価したところ,GenerSpeechは音質やスタイルの類似性の観点から,最先端のモデルを上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-05-15T08:16:02Z)
• AnyoneNet: Synchronized Speech and Talking Head Generation for Arbitrary Person [21.126759304401627]
  本稿では,テキストと任意の人物の顔画像を入力として,同期音声とトーキングヘッド映像を自動生成する手法を提案する。 実験の結果,提案手法は任意の人や非人に対して,同期音声と音声のヘッドビデオを生成することができることがわかった。
  論文  参考訳（メタデータ） (2021-08-09T19:58:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。