論文の概要: DisentTalk: Cross-lingual Talking Face Generation via Semantic Disentangled Diffusion Model

• arxiv url: http://arxiv.org/abs/2503.19001v1
• Date: Mon, 24 Mar 2025 11:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:53.131242
• Title: DisentTalk: Cross-lingual Talking Face Generation via Semantic Disentangled Diffusion Model
• Title（参考訳）: DisentTalk:Semantic Disentangled Diffusion Modelによる言語間対話顔生成
• Authors: Kangwei Liu, Junwu Liu, Yun Cao, Jinlin Guo, Xiaowei Yi,
• Abstract要約: DisentTalkは3DMM式パラメータを意味のある部分空間に分解し、きめ細かい顔制御を行うデータ駆動型セマンティック・ディコンタングルメントフレームワークを提供する。 高品質な中国語学習データの不足に対処するため、中国語の高精細な話し顔データセットであるCHDTFを紹介した。
• 参考スコア（独自算出の注目度）: 7.165879904419689
• License:
• Abstract: Recent advances in talking face generation have significantly improved facial animation synthesis. However, existing approaches face fundamental limitations: 3DMM-based methods maintain temporal consistency but lack fine-grained regional control, while Stable Diffusion-based methods enable spatial manipulation but suffer from temporal inconsistencies. The integration of these approaches is hindered by incompatible control mechanisms and semantic entanglement of facial representations. This paper presents DisentTalk, introducing a data-driven semantic disentanglement framework that decomposes 3DMM expression parameters into meaningful subspaces for fine-grained facial control. Building upon this disentangled representation, we develop a hierarchical latent diffusion architecture that operates in 3DMM parameter space, integrating region-aware attention mechanisms to ensure both spatial precision and temporal coherence. To address the scarcity of high-quality Chinese training data, we introduce CHDTF, a Chinese high-definition talking face dataset. Extensive experiments show superior performance over existing methods across multiple metrics, including lip synchronization, expression quality, and temporal consistency. Project Page: https://kangweiiliu.github.io/DisentTalk.
• Abstract（参考訳）: 近年の音声合成の進歩により、顔のアニメーション合成が大幅に改善されている。 3DMMに基づく手法は時間的整合性を維持しつつ、きめ細かな局所的な制御を欠いているのに対し、安定拡散法は空間的操作を可能にするが時間的不整合に悩まされている。 これらのアプローチの統合は、顔表現の非互換な制御機構と意味的絡み合いによって妨げられる。 本稿では,3次元MM表現パラメータを微粒な顔制御のための意味部分空間に分解するデータ駆動型セマンティック・ディコンタングルメント・フレームワークを提案する。 この不整合表現に基づいて、3DMMパラメータ空間で動作する階層的潜在拡散アーキテクチャを構築し、空間的精度と時間的コヒーレンスの両方を確保するために、地域対応の注意機構を統合する。 高品質な中国語学習データの不足に対処するため、中国語の高精細な話し顔データセットであるCHDTFを紹介した。 大規模な実験では、リップ同期、表現品質、時間的一貫性など、既存の手法よりも優れたパフォーマンスを示している。 プロジェクトページ: https://kangweiiliu.github.io/DisentTalk

関連論文リスト

• Long-Term TalkingFace Generation via Motion-Prior Conditional Diffusion Model [64.11605839142348]
  textbfMotion-priors textbfConditional textbfDiffusion textbfModel(textbfMCDM)を導入する。 textbfTalkingFace-Wildデータセットもリリースしています。
  論文  参考訳（メタデータ） (2025-02-13T17:50:23Z)
• Hierarchical Context Alignment with Disentangled Geometric and Temporal Modeling for Semantic Occupancy Prediction [61.484280369655536]
  カメラを用いた3Dセマンティック占領予測(SOP)は、限られた2次元画像観察から複雑な3Dシーンを理解するのに不可欠である。 既存のSOPメソッドは通常、占有表現学習を支援するためにコンテキストの特徴を集約する。 より正確なSOP(Hi-SOP)のための新しい階層型コンテキストアライメントパラダイムを導入する。
  論文  参考訳（メタデータ） (2024-12-11T09:53:10Z)
• XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation [72.12250272218792]
  本稿では,3次元特徴量と2次元テキスト埋め込み空間とのより精巧なマスクレベルのアライメントを,クロスモーダルマスク推論フレームワークであるXMask3Dを用いて提案する。 我々は、3Dグローバルな特徴を暗黙の条件として、事前訓練された2D denoising UNetに統合し、セグメンテーションマスクの生成を可能にする。 生成した2Dマスクを用いて、マスクレベルの3D表現を視覚言語の特徴空間と整合させ、3D幾何埋め込みの開語彙能力を増大させる。
  論文  参考訳（メタデータ） (2024-11-20T12:02:12Z)
• 3D Vision-Language Gaussian Splatting [29.047044145499036]
  マルチモーダルな3Dシーン理解は、ロボット工学、自律運転、バーチャル/拡張現実において重要な応用である。 本稿では,視覚的・意味的な相違点を適切に扱えるソリューションを提案する。 また、既存のビュー間のセマンティック一貫性を改善するために、カメラビューブレンディング技術を採用している。
  論文  参考訳（メタデータ） (2024-10-10T03:28:29Z)
• KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
  キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。 本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。 後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
  論文  参考訳（メタデータ） (2024-09-02T09:41:24Z)
• Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
  高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。 これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。 提案手法は他の最先端アルゴリズムに対して好適に機能する。
  論文  参考訳（メタデータ） (2024-05-15T00:17:48Z)
• StableDreamer: Taming Noisy Score Distillation Sampling for Text-to-3D [88.66678730537777]
  本稿では3つの進歩を取り入れた方法論であるStableDreamerを紹介する。 まず、SDS生成前の等価性と、簡単な教師付きL2再構成損失を定式化する。 第2に,画像空間拡散は幾何学的精度に寄与するが,色調の鮮明化には潜時空間拡散が不可欠であることを示す。
  論文  参考訳（メタデータ） (2023-12-02T02:27:58Z)
• Multimodal-driven Talking Face Generation via a Unified Diffusion-based Generator [29.58245990622227]
  マルチモーダル駆動型トーキングフェイス生成(マルチモーダルドリブントーキングフェイスジェネレーション)とは、画像や動画から移動された、あるいはテキストやオーディオから推定される、与えられたポーズ、表情、および視線で肖像画をアニメーションすることを指す。 既存の手法はテキスト・モーダルの可能性を無視し、ジェネレータは主に不安定なGANフレームワークと結合したソース指向の機能パラダイムに従う。 不安定なシーソースタイルの最適化が不要な新しいパラダイムを導出し、単純で安定で効果的なトレーニングと推論スキームを導出する。
  論文  参考訳（メタデータ） (2023-05-04T07:01:36Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。