論文の概要: DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models

• arxiv url: http://arxiv.org/abs/2310.00434v2
• Date: Tue, 14 May 2024 13:12:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-15 19:50:31.133805
• Title: DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models
• Title（参考訳）: DiffPoseTalk: 拡散モデルによる音声駆動型3次元顔アニメーションと頭部電位生成
• Authors: Zhiyao Sun, Tian Lv, Sheng Ye, Matthieu Lin, Jenny Sheng, Yu-Hui Wen, Minjing Yu, Yong-Jin Liu,
• Abstract要約: 本稿では,拡散モデルとスタイルエンコーダを組み合わせた生成フレームワークであるDiffPoseTalkを提案する。 特に、私たちのスタイルには、頭部ポーズの生成が含まれており、それによってユーザの知覚が向上する。 高品質な映像データセットから再構成された3DMMパラメータをモデルに学習することで,3D音声データ不足に対処する。
• 参考スコア（独自算出の注目度）: 24.401443462720135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The generation of stylistic 3D facial animations driven by speech presents a significant challenge as it requires learning a many-to-many mapping between speech, style, and the corresponding natural facial motion. However, existing methods either employ a deterministic model for speech-to-motion mapping or encode the style using a one-hot encoding scheme. Notably, the one-hot encoding approach fails to capture the complexity of the style and thus limits generalization ability. In this paper, we propose DiffPoseTalk, a generative framework based on the diffusion model combined with a style encoder that extracts style embeddings from short reference videos. During inference, we employ classifier-free guidance to guide the generation process based on the speech and style. In particular, our style includes the generation of head poses, thereby enhancing user perception. Additionally, we address the shortage of scanned 3D talking face data by training our model on reconstructed 3DMM parameters from a high-quality, in-the-wild audio-visual dataset. Extensive experiments and user study demonstrate that our approach outperforms state-of-the-art methods. The code and dataset are at https://diffposetalk.github.io .
• Abstract（参考訳）: 音声によって駆動されるスタイリスティックな3次元顔アニメーションの生成は、音声、スタイル、およびそれに対応する自然な顔の動きの多対多マッピングを学習する必要があるため、大きな課題となる。 しかし,既存の手法では,音声と動きのマッピングに決定論的モデルを用いるか,ワンホット符号化方式を用いてそのスタイルを符号化する。 特に、ワンホット符号化アプローチは、スタイルの複雑さを捉えず、一般化能力を制限している。 本稿では,拡散モデルに基づく生成フレームワークであるDiffPoseTalkと,短い参照ビデオからスタイル埋め込みを抽出するスタイルエンコーダを提案する。 推論中、音声とスタイルに基づいて生成過程を案内するために分類器なし指導を用いる。 特に、私たちのスタイルには、頭部ポーズの生成が含まれており、それによってユーザの知覚が向上する。 さらに,高品質な映像データセットから再構成された3DMMパラメータをモデルにトレーニングすることで,3D音声データ不足に対処する。 大規模な実験とユーザスタディにより、我々のアプローチは最先端の手法よりも優れていることが示された。 コードとデータセットはhttps://diffposetalk.github.io にある。

関連論文リスト

• MimicTalk: Mimicking a personalized and expressive 3D talking face in minutes [74.82911268630463]
  トーキングフェース生成(TFG)は、ターゲットアイデンティティーの顔をアニメーション化し、リアルなトーキングビデオを作成することを目的としている。 MimicTalkは、個人別TFGの効率性と堅牢性を改善するために、NeRFベースの個人非依存のジェネリックモデルから豊富な知識を活用する。 私たちのMimicTalkは、ビデオの品質、効率、表現性に関して、これまでのベースラインを超えていることが実験によって示されています。
  論文  参考訳（メタデータ） (2024-10-09T10:12:37Z)
• StyleTalk++: A Unified Framework for Controlling the Speaking Styles of Talking Heads [46.749597670092484]
  既存のワンショット音声ヘッド方式では、最終ビデオで様々な話し方を生成することができない。 本稿では,参照ビデオから発話スタイルを得ることができるワンショットスタイル制御可能な話し顔生成法を提案する。 本手法は,1つのポートレート画像と1つの音声クリップから,多様な話し方で視覚的に発話するヘッドビデオを生成する。
  論文  参考訳（メタデータ） (2024-09-14T03:49:38Z)
• Mimic: Speaking Style Disentanglement for Speech-Driven 3D Facial Animation [41.489700112318864]
  音声駆動型3D顔アニメーションは、音声と正確に同期し、独特の話し方にマッチする鮮やかな顔アニメーションを合成することを目的としている。 本稿では,任意の発話スタイルの符号化を可能にする,革新的な発話スタイルのアンタングル化手法を提案する。 また,顔の動きから話し方や内容の絡み合った表現を学習する「textbfMimic」という新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-18T01:49:42Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• PMMTalk: Speech-Driven 3D Facial Animation from Complementary Pseudo Multi-modal Features [22.31865247379668]
  音声駆動の3D顔アニメーションは、最近大幅に改善されている。 関連作品の多くは音響的モダリティのみを利用しており、視覚的・テキスト的手がかりの影響を無視している。 顔アニメーションの精度を向上させるために,Pseudo Multi-Modal 機能を用いた新しいフレームワーク PMMTalk を提案する。
  論文  参考訳（メタデータ） (2023-12-05T14:12:38Z)
• AdaMesh: Personalized Facial Expressions and Head Poses for Adaptive Speech-Driven 3D Facial Animation [49.4220768835379]
  AdaMeshは、適応的な音声駆動の顔アニメーションアプローチである。 約10秒間の参照ビデオから、パーソナライズされた話し方を学ぶ。 鮮やかな表情と頭部のポーズを生成する。
  論文  参考訳（メタデータ） (2023-10-11T06:56:08Z)
• FaceDiffuser: Speech-Driven 3D Facial Animation Synthesis Using Diffusion [0.0]
  音声駆動型顔アニメーションを生成するための非決定論的ディープラーニングモデルFaceDiffuserを提案する。 提案手法は拡散法に基づいて,事前学習した大規模音声表現モデル HuBERT を用いて音声入力を符号化する。 また、ブレンドシェープに基づくリップキャラクタに基づく、新たな社内データセットも導入する。
  論文  参考訳（メタデータ） (2023-09-20T13:33:00Z)
• Generating Holistic 3D Human Motion from Speech [97.11392166257791]
  同期音声を用いた3次元全体体メッシュの高品質データセットを構築した。 次に,顔,体,手が別々にモデル化される新しい音声合成フレームワークを定義する。
  論文  参考訳（メタデータ） (2022-12-08T17:25:19Z)
• Imitating Arbitrary Talking Style for Realistic Audio-DrivenTalking Face Synthesis [17.650661515807993]
  本稿では,特定の参照ビデオの任意の発話スタイルを模倣することにより,音声合成フレームワークにスタイルを注入することを提案する。 我々は,スタイルコードから発声スタイルを模倣して,スタイリングされた音声を合成する潜在スタイル融合(LSF)モデルを考案した。
  論文  参考訳（メタデータ） (2021-10-30T08:15:27Z)
• Pose-Controllable Talking Face Generation by Implicitly Modularized Audio-Visual Representation [96.66010515343106]
  ポーズ制御可能な発話顔を生成するためのクリーンで効果的なフレームワークを提案する。 我々は1枚の写真のみを識別基準として生の顔画像を操作する。 私達のモデルに極度な視野の堅牢性および話す表面前部化を含む複数の高度の機能があります。
  論文  参考訳（メタデータ） (2021-04-22T15:10:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。