論文の概要: Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering

• arxiv url: http://arxiv.org/abs/2508.02362v1
• Date: Mon, 04 Aug 2025 12:50:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 18:25:22.3349
• Title: Text2Lip: Progressive Lip-Synced Talking Face Generation from Text via Viseme-Guided Rendering
• Title（参考訳）: Text2Lip: Viseme-Guided Renderingによるテキストからのプログレッシブなリップシンク音声生成
• Authors: Xu Wang, Shengeng Tang, Fei Wang, Lechao Cheng, Dan Guo, Feng Xue, Richang Hong,
• Abstract要約: Text2Lipは、解釈可能な音声-視覚ブリッジを構築するビセメ中心のフレームワークである。 Text2Lipは、意味的忠実性、視覚的リアリズム、モダリティの堅牢性において、既存のアプローチよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 53.2204901422631
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Generating semantically coherent and visually accurate talking faces requires bridging the gap between linguistic meaning and facial articulation. Although audio-driven methods remain prevalent, their reliance on high-quality paired audio visual data and the inherent ambiguity in mapping acoustics to lip motion pose significant challenges in terms of scalability and robustness. To address these issues, we propose Text2Lip, a viseme-centric framework that constructs an interpretable phonetic-visual bridge by embedding textual input into structured viseme sequences. These mid-level units serve as a linguistically grounded prior for lip motion prediction. Furthermore, we design a progressive viseme-audio replacement strategy based on curriculum learning, enabling the model to gradually transition from real audio to pseudo-audio reconstructed from enhanced viseme features via cross-modal attention. This allows for robust generation in both audio-present and audio-free scenarios. Finally, a landmark-guided renderer synthesizes photorealistic facial videos with accurate lip synchronization. Extensive evaluations show that Text2Lip outperforms existing approaches in semantic fidelity, visual realism, and modality robustness, establishing a new paradigm for controllable and flexible talking face generation. Our project homepage is https://plyon1.github.io/Text2Lip/.
• Abstract（参考訳）: 意味的コヒーレントで視覚的に正確な話し顔を生成するには、言語的意味と顔の明瞭さのギャップを埋める必要がある。 音声駆動方式は依然として普及しているが、高品質なペアオーディオ・ヴィジュアライゼーション・データへの依存や、音響を唇の動きにマッピングする際の本来の曖昧さは、スケーラビリティと堅牢性の観点から大きな課題となっている。 これらの問題に対処するために,テキスト入力を構造化ビセメ列に埋め込むことで,解釈可能な音声・視覚ブリッジを構築するビセメ中心のフレームワークであるText2Lipを提案する。 これらの中級単位は、唇の動き予測に先立って言語的に基礎を置いている。 さらに、カリキュラム学習に基づく漸進的なビセメ・オーディオ代替戦略を設計し、クロスモーダルな注意を通して拡張されたビセメ特徴から徐々に実際の音声から擬似オーディオへの移行を可能にする。 これにより、オーディオ表示とオーディオなしの両方のシナリオでロバストな生成が可能になる。 最後に、ランドマーク誘導レンダラーは、正確な唇同期でフォトリアリスティックな顔ビデオを合成する。 大規模な評価では、Text2Lipは意味的忠実性、視覚的リアリズム、モダリティの堅牢性において既存のアプローチよりも優れており、制御可能で柔軟な会話顔生成のための新しいパラダイムを確立している。 私たちのプロジェクトのホームページはhttps://plyon1.github.io/Text2Lip/です。

関連論文リスト

• Shushing! Let's Imagine an Authentic Speech from the Silent Video [15.426152742881365]
  視覚誘導音声生成は、聴覚信号に頼ることなく、顔の外観や唇の動きから真の音声を生成することを目的としている。 近年の進歩にもかかわらず、既存の手法は視覚的手がかりから意味論、音色、感情的な韻律を横断的に統一するのに苦労している。 ImaginTalkは、視覚入力のみを用いて忠実な音声を生成する新しいクロスモーダル拡散フレームワークである。
  論文  参考訳（メタデータ） (2025-03-19T06:28:17Z)
• JEAN: Joint Expression and Audio-guided NeRF-based Talking Face Generation [24.2065254076207]
  共同表現と音声誘導による発話顔生成のための新しい手法を提案する。 提案手法は,高忠実度音声映像を合成し,最先端の表情伝達を実現する。
  論文  参考訳（メタデータ） (2024-09-18T17:18:13Z)
• High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
  本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。 まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。 そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
  論文  参考訳（メタデータ） (2024-08-10T02:58:28Z)
• RealTalk: Real-time and Realistic Audio-driven Face Generation with 3D Facial Prior-guided Identity Alignment Network [48.95833484103569]
  RealTalkは、音声から表現へのトランスフォーマーであり、高忠実な表現から顔へのフレームワークである。 第1成分として, 口唇運動に関連する個人性および個人内変動の特徴について考察した。 第2のコンポーネントでは、軽量な顔認証アライメント(FIA)モジュールを設計する。 この新しい設計により、高度で非効率な特徴アライメントモジュールに依存することなく、リアルタイムに細部を生成できる。
  論文  参考訳（メタデータ） (2024-06-26T12:09:59Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• SelfTalk: A Self-Supervised Commutative Training Diagram to Comprehend 3D Talking Faces [28.40393487247833]
  音声駆動型3次元顔アニメーション技術とその様々なマルチメディア分野への応用 これまでの研究では、有望なリアルな唇の動きと、音声信号による表情が生み出された。 本稿では,3次元の話し言葉を学習するクロスモーダルネットワークシステムに自己監督を組み込むことにより,新たなフレームワークであるSelfTalkを提案する。
  論文  参考訳（メタデータ） (2023-06-19T09:39:10Z)
• Exploring Phonetic Context-Aware Lip-Sync For Talking Face Generation [58.72068260933836]
  コンテキスト対応LipSync-フレームワーク(CALS) CALSはAudio-to-LipマップモジュールとLip-to-Faceモジュールで構成されている。
  論文  参考訳（メタデータ） (2023-05-31T04:50:32Z)
• Joint Audio-Text Model for Expressive Speech-Driven 3D Facial Animation [46.8780140220063]
  本稿では,表情駆動型3次元顔画像の文脈情報を取得するための共同音声テキストモデルを提案する。 我々の仮説は、音声と強く相関しない上面表現のバリエーションを曖昧にすることができるというものである。 音声と音声の同期を保ちながら現実的な表情を合成できることを示す。
  論文  参考訳（メタデータ） (2021-12-04T01:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。