論文の概要: DEGSTalk: Decomposed Per-Embedding Gaussian Fields for Hair-Preserving Talking Face Synthesis

• arxiv url: http://arxiv.org/abs/2412.20148v1
• Date: Sat, 28 Dec 2024 13:23:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:04:47.311841
• Title: DEGSTalk: Decomposed Per-Embedding Gaussian Fields for Hair-Preserving Talking Face Synthesis
• Title（参考訳）: DEGSTalk: ヘア保存型顔合成のための埋め込みごとのガウス場
• Authors: Kaijun Deng, Dezhi Zheng, Jindong Xie, Jinbao Wang, Weicheng Xie, Linlin Shen, Siyang Song,
• Abstract要約: 長髪のリアルな話し顔を生成するための3次元ガウススプラッティング(3DGS)に基づく話し顔合成法を提案する。 その結果,DESTalkは既存の手法に比べて現実性や合成品質の向上を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 35.1840861917629
• License:
• Abstract: Accurately synthesizing talking face videos and capturing fine facial features for individuals with long hair presents a significant challenge. To tackle these challenges in existing methods, we propose a decomposed per-embedding Gaussian fields (DEGSTalk), a 3D Gaussian Splatting (3DGS)-based talking face synthesis method for generating realistic talking faces with long hairs. Our DEGSTalk employs Deformable Pre-Embedding Gaussian Fields, which dynamically adjust pre-embedding Gaussian primitives using implicit expression coefficients. This enables precise capture of dynamic facial regions and subtle expressions. Additionally, we propose a Dynamic Hair-Preserving Portrait Rendering technique to enhance the realism of long hair motions in the synthesized videos. Results show that DEGSTalk achieves improved realism and synthesis quality compared to existing approaches, particularly in handling complex facial dynamics and hair preservation. Our code will be publicly available at https://github.com/CVI-SZU/DEGSTalk.
• Abstract（参考訳）: 顔の映像を正確に合成し、髪の長い人の顔の特徴を捉えることは、大きな課題だ。 既存手法におけるこれらの課題に対処するため,3次元ガウス・スプレイティング(3DGS)に基づく会話顔合成法であるDEGSTalk(decomposed per-embedding Gaussian Field)を提案する。 我々のDESTalkは変形可能な事前埋め込み型ガウス場を用いており、暗黙の表現係数を用いてガウスプリミティブを動的に埋め込む。 これにより、ダイナミックな顔領域と微妙な表情を正確にキャプチャできる。 さらに, 合成ビデオにおける長髪動作のリアリズムを高めるために, 動的毛髪保存ポートレートレンダリング手法を提案する。 以上の結果から,DESTalkは既存のアプローチ,特に複雑な顔のダイナミックスや毛髪の保存に比較して,現実性や合成品質の向上を実現していることがわかった。 私たちのコードはhttps://github.com/CVI-SZU/DEGSTalkで公開されます。

関連論文リスト

• GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
  本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。 本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
  論文  参考訳（メタデータ） (2024-11-27T18:54:08Z)
• TalkingGaussian: Structure-Persistent 3D Talking Head Synthesis via Gaussian Splatting [21.474938045227702]
  本研究では,高忠実度音声ヘッド合成のための変形型放射場フレームワークであるTalkingGaussianを紹介する。 提案手法は, 従来の方法と比較して, 顔の忠実度と効率性を向上し, 高品質な唇同期音声ヘッドビデオを生成する。
  論文  参考訳（メタデータ） (2024-04-23T17:55:07Z)
• GaussianTalker: Speaker-specific Talking Head Synthesis via 3D Gaussian Splatting [27.699313086744237]
  GaussianTalkerは3D Gaussian Splattingに基づく音声駆動音声ヘッド合成手法である。 話者固有のモーショントランスレータは、普遍化音声特徴抽出により、対象話者固有の正確な唇の動きを達成する。 Dynamic Gaussian Rendererは話者固有のBlendShapesを導入し、潜在ポーズを通じて顔の詳細表現を強化する。
  論文  参考訳（メタデータ） (2024-04-22T09:51:43Z)
• GaussianStyle: Gaussian Head Avatar via StyleGAN [64.85782838199427]
  本稿では,3DGSのボリューム強度とStyleGANの強力な暗黙表現を統合する新しいフレームワークを提案する。 提案手法は, 再現性, 新規なビュー合成, アニメーションにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-02-01T18:14:42Z)
• FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
  音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。 我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
  論文  参考訳（メタデータ） (2023-12-13T19:01:07Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• Learning Dynamic Facial Radiance Fields for Few-Shot Talking Head Synthesis [90.43371339871105]
  音声音声音声合成のための動的顔放射場(DFRF)を提案する。 DFRF条件は2次元外観画像上の放射界を呈示し、先行した顔の学習を行う。 実験により、DFRFは40kの反復しか持たない新しいアイデンティティのために、自然で高品質な音声駆動音声ヘッドビデオを合成できることが示された。
  論文  参考訳（メタデータ） (2022-07-24T16:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。