論文の概要: Towards High-fidelity 3D Talking Avatar with Personalized Dynamic Texture
- arxiv url: http://arxiv.org/abs/2503.00495v1
- Date: Sat, 01 Mar 2025 13:51:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-05 19:24:22.135023
- Title: Towards High-fidelity 3D Talking Avatar with Personalized Dynamic Texture
- Title（参考訳）: 動的テクスチャをパーソナライズした高忠実度3次元対話アバターの実現に向けて
- Authors: Xuanchen Li, Jianyu Wang, Yuhao Cheng, Yikun Zeng, Xingyu Ren, Wenhan Zhu, Weiming Zhao, Yichao Yan,
- Abstract要約: 動的テクスチャが高忠実な発話アバターの描画において重要な役割を担っていることを示す。
我々は,100人の被験者の詳細な8Kダイナミックテクスチャを備えた,100分間の音声同期スキャンレベルメッシュからなる高解像度4DデータセットtextbfTexTalk4Dを提案する。
音声から顔の動きと動的テクスチャを同時に生成するフレームワーク textbfTexTalker を提案する。
- 参考スコア（独自算出の注目度）: 15.04081623902758
- License:
- Abstract: Significant progress has been made for speech-driven 3D face animation, but most works focus on learning the motion of mesh/geometry, ignoring the impact of dynamic texture. In this work, we reveal that dynamic texture plays a key role in rendering high-fidelity talking avatars, and introduce a high-resolution 4D dataset \textbf{TexTalk4D}, consisting of 100 minutes of audio-synced scan-level meshes with detailed 8K dynamic textures from 100 subjects. Based on the dataset, we explore the inherent correlation between motion and texture, and propose a diffusion-based framework \textbf{TexTalker} to simultaneously generate facial motions and dynamic textures from speech. Furthermore, we propose a novel pivot-based style injection strategy to capture the complicity of different texture and motion styles, which allows disentangled control. TexTalker, as the first method to generate audio-synced facial motion with dynamic texture, not only outperforms the prior arts in synthesising facial motions, but also produces realistic textures that are consistent with the underlying facial movements. Project page: https://xuanchenli.github.io/TexTalk/.
- Abstract（参考訳）: 音声駆動の3D顔アニメーションには重要な進歩があったが、ほとんどの研究はメッシュ/幾何学の動きを学習することに集中しており、動的テクスチャの影響を無視している。
本研究では,高忠実度音声アバターの描画において動的テクスチャが重要な役割を担っていることを明らかにするとともに,100人の被験者から詳細な8Kダイナミックテクスチャを備えた100分間の音声同期スキャンレベルメッシュからなる高解像度4Dデータセット「textbf{TexTalk4D}」を導入する。
このデータセットに基づいて, 動きとテクスチャの固有の相関関係を探索し, 音声から顔の動きと動的テクスチャを同時に生成する拡散型フレームワーク \textbf{TexTalker} を提案する。
さらに,異なるテクスチャや動作スタイルの複雑度を捉えるために,新しいピボット方式のインジェクション方式を提案する。
TexTalkerは、動的テクスチャによる音声同期顔の動きを生成する最初の方法であり、顔の動きを合成する従来の技術よりも優れているだけでなく、基礎となる顔の動きと整合した現実的なテクスチャも生成する。
プロジェクトページ: https://xuanchenli.github.io/TexTalk/。
関連論文リスト
- GaussianSpeech: Audio-Driven Gaussian Avatars [76.10163891172192]
本稿では,3次元頭部アバターの高忠実度アニメーションシーケンスを音声音声から合成する手法であるGaussianSpeechを紹介する。
本稿では,表情に依存した色を生成するコンパクトで効率的な3DGSベースのアバター表現を提案する。
論文 参考訳（メタデータ） (2024-11-27T18:54:08Z) - FaceFolds: Meshed Radiance Manifolds for Efficient Volumetric Rendering of Dynamic Faces [21.946327323788275]
動的顔の3Dレンダリングは難しい問題である。
本稿では,アクターの動的顔パフォーマンスの高品質なレンダリングを可能にする新しい表現を提案する。
論文 参考訳（メタデータ） (2024-04-22T00:44:13Z) - DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with
Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。
拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。
最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文 参考訳（メタデータ） (2023-08-23T04:14:55Z) - Unsupervised Learning of Style-Aware Facial Animation from Real Acting
Performances [3.95944314850151]
本稿では, ブレンド形状, 動的テクスチャ, ニューラルレンダリングに基づく写真リアルな頭部モデルのテキスト/音声駆動アニメーションのための新しい手法を提案する。
本手法は,テキストや音声をアニメーションパラメータの列に変換する条件付きCNNに基づいている。
リアルなリアルタイムレンダリングのために、私たちは、改良された色と前景マットを演算することで、ピクセル化ベースのレンダリングを洗練するU-Netを訓練します。
論文 参考訳（メタデータ） (2023-06-16T17:58:04Z) - Pose-Controllable 3D Facial Animation Synthesis using Hierarchical
Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。
提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文 参考訳（メタデータ） (2023-02-24T09:36:31Z) - Video-driven Neural Physically-based Facial Asset for Production [33.24654834163312]
高品質な物理的資産を持つ動的顔のジオメトリを生成するための,学習に基づく新しいビデオ駆動型アプローチを提案する。
本手法は,従来の映像駆動型顔再構成法やアニメーション法よりも精度が高く,視覚的忠実度が高い。
論文 参考訳（メタデータ） (2022-02-11T13:22:48Z) - Real-time Deep Dynamic Characters [95.5592405831368]
本研究では,高度にリアルな形状,動き,ダイナミックな外観を示す3次元人物モデルを提案する。
我々は,新しいグラフ畳み込みネットワークアーキテクチャを用いて,身体と衣服の運動依存的変形学習を実現する。
本モデルでは, 運動依存的表面変形, 物理的に妥当な動的衣服変形, および映像現実的表面テクスチャを, 従来よりも細部まで高レベルに生成することを示す。
論文 参考訳（メタデータ） (2021-05-04T23:28:55Z) - MeshTalk: 3D Face Animation from Speech using Cross-Modality
Disentanglement [142.9900055577252]
本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。
このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
論文 参考訳（メタデータ） (2021-04-16T17:05:40Z) - Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。
本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。
われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
論文 参考訳（メタデータ） (2021-02-13T01:05:39Z) - Neural Face Models for Example-Based Visual Speech Synthesis [2.2817442144155207]
マルチビュー映像に基づく顔の動きキャプチャのためのマーカーレスアプローチを提案する。
アニメーション中の表情をシームレスに表現するために,表情のニューラル表現を学習する。
論文 参考訳（メタデータ） (2020-09-22T07:35:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。