論文の概要: MMTalker: Multiresolution 3D Talking Head Synthesis with Multimodal Feature Fusion
- arxiv url: http://arxiv.org/abs/2604.02941v1
- Date: Fri, 03 Apr 2026 10:17:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-06 17:20:24.442921
- Title: MMTalker: Multiresolution 3D Talking Head Synthesis with Multimodal Feature Fusion
- Title（参考訳）: MMTalker:マルチモーダル特徴融合を用いたマルチレゾリューション3次元音声ヘッド合成
- Authors: Bin Liu, Zhixiang Xiong, Zhifen He, Bo Li,
- Abstract要約: 音声駆動型3Dアニメーション合成は、1次元(1次元)音声信号から時間変化した3次元顔信号へのマッピングを構築することを目的としている。
現在の方法は、リップシンクの精度を維持し、現実的な表情を作り出すことの課題に直面している。
マルチレゾリューション表現とマルチモーダル特徴融合による3次元音声駆動顔画像合成法を提案する。
- 参考スコア（独自算出の注目度）: 8.099054631267515
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Speech-driven three-dimensional (3D) facial animation synthesis aims to build a mapping from one-dimensional (1D) speech signals to time-varying 3D facial motion signals. Current methods still face challenges in maintaining lip-sync accuracy and producing realistic facial expressions, primarily due to the highly ill-posed nature of this cross-modal mapping. In this paper, we introduce a novel 3D audio-driven facial animation synthesis method through multi-resolution representation and multi-modal feature fusion, called MMTalker which can accurately reconstruct the rich details of 3D facial motion. We first achieve the continuous representation of 3D face with details by mesh parameterization and non-uniform differentiable sampling. The mesh parameterization technique establishes the correspondence between UV plane and 3D facial mesh and is used to offer ground truth for the continuous learning. Differentiable non-uniform sampling enables precise facial detail acquisition by setting learnable sampling probability in each triangular face. Next, we employ residual graph convolutional network and dual cross-attention mechanism to extract discriminative facial motion feature from multiple input modalities. This proposed multimodal fusion strategy takes full use of the hierarchical features of speech and the explicit spatiotemporal geometric features of facial mesh. Finally, a lightweight regression network predicts the vertex-wise geometric displacements of the synthesized talking face by jointly processing the sampled points in the canonical UV space and the encoded facial motion features. Comprehensive experiments demonstrate that significant improvements are achieved over state-of-the-art methods, especially in the synchronization accuracy of lip and eye movements.
- Abstract（参考訳）: 音声駆動型3次元顔アニメーション合成は、1次元(1次元)音声信号から時間変化した3次元顔動作信号へのマッピングを構築することを目的としている。
現在の手法は、リップシンクの精度を維持し、現実的な表情を作り出すことの課題に直面している。
本稿では,MMTalkerと呼ばれるマルチレゾリューション表現とマルチモーダル特徴融合による3D音声駆動型顔アニメーション合成手法を提案する。
まず,メッシュパラメタライゼーションと非一様微分可能なサンプリングにより,詳細な3次元顔の連続表現を実現する。
メッシュパラメータ化技術は、UV平面と3次元顔メッシュの対応を確立し、継続的な学習のための基礎的真実を提供するために使用される。
微分可能な非一様サンプリングは、各三角形の顔に学習可能なサンプリング確率を設定することにより、正確な顔詳細取得を可能にする。
次に、残差グラフ畳み込みネットワークと二重交叉機構を用いて、複数の入力モードから識別的顔の動き特徴を抽出する。
このマルチモーダル融合戦略は,音声の階層的特徴と顔メッシュの時間空間的特徴をフル活用する。
最後に、標準UV空間のサンプル点と符号化された顔の動き特徴とを共同処理することにより、合成された音声の頂点方向の幾何変位を予測する。
総合的な実験では、特に唇と眼の動きの同期精度において、最先端の手法よりも顕著な改善が達成されている。
関連論文リスト
- OT-Talk: Animating 3D Talking Head with Optimal Transportation [20.023346831300373]
OT-Talkは、音声ヘッドアニメーションの学習モデルを最適化するために最適なトランスポートを利用する最初のアプローチである。
既存の学習フレームワークに基づいて,事前学習したHubertモデルを用いて音声特徴を抽出し,変換器モデルを用いて時間的シーケンスを処理する。
2つの公開オーディオ・メシュ・データセットに対する実験により,本手法が最先端技術より優れていることを示す。
論文 参考訳（メタデータ） (2025-05-03T21:49:23Z) - Diverse Code Query Learning for Speech-Driven Facial Animation [2.1779479916071067]
音声駆動型顔アニメーションは、所定の音声信号に従って唇同期3D音声を合成することを目的としている。
我々は,同一の音声信号に条件付された複数のサンプルを予測し,多様な顔のアニメーションに対処するために,サンプルの多様性を明示的に促すことを提案する。
論文 参考訳（メタデータ） (2024-09-27T21:15:21Z) - KMTalk: Speech-Driven 3D Facial Animation with Key Motion Embedding [19.15471840100407]
キーモーション埋め込みを用いた音声系列から3次元顔の動きを合成する新しい手法を提案する。
本手法は,言語に基づくキーモーション獲得とモーダル間動作完了の2つのモジュールを通じて,言語的およびデータ駆動の先行情報を統合する。
後者は、キーモーションを音声機能によって案内される3D音声のフルシーケンスに拡張し、時間的コヒーレンスとオーディオ-視覚的整合性を改善する。
論文 参考訳（メタデータ） (2024-09-02T09:41:24Z) - High-fidelity and Lip-synced Talking Face Synthesis via Landmark-based Diffusion Model [89.29655924125461]
本稿では,発話顔生成のためのランドマークに基づく新しい拡散モデルを提案する。
まず、音声から唇と顎の目印運動への不明瞭さの少ないマッピングを確立する。
そこで我々はTalkFormerと呼ばれる革新的な条件付けモジュールを導入し、合成された動きをランドマークで表現された動きと整合させる。
論文 参考訳（メタデータ） (2024-08-10T02:58:28Z) - FaceTalk: Audio-Driven Motion Diffusion for Neural Parametric Head Models [85.16273912625022]
音声信号から人間の頭部の高忠実度3次元動作系列を合成するための新しい生成手法であるFaceTalkを紹介する。
我々の知る限りでは、人間の頭部の現実的で高品質な運動合成のための生成的アプローチを提案するのはこれが初めてである。
論文 参考訳（メタデータ） (2023-12-13T19:01:07Z) - DF-3DFace: One-to-Many Speech Synchronized 3D Face Animation with
Diffusion [68.85904927374165]
拡散駆動型音声から3次元の顔メッシュ合成であるDF-3DFaceを提案する。
拡散に基づく音声と3次元顔の複雑な一対多関係をキャプチャする。
最先端の手法よりもリアルな顔アニメーションを同時に実現します。
論文 参考訳（メタデータ） (2023-08-23T04:14:55Z) - Pose-Controllable 3D Facial Animation Synthesis using Hierarchical
Audio-Vertex Attention [52.63080543011595]
階層型音声頂点アテンションを利用してポーズ制御可能な3次元顔アニメーション合成法を提案する。
提案手法により,よりリアルな表情と頭部姿勢運動が得られる。
論文 参考訳（メタデータ） (2023-02-24T09:36:31Z) - Deep Marching Tetrahedra: a Hybrid Representation for High-Resolution 3D
Shape Synthesis [90.26556260531707]
DMTetは粗いボクセルのような単純なユーザーガイドを用いて高解像度の3次元形状を合成できる条件付き生成モデルである。
メッシュなどの明示的な表現を直接生成する深部3次元生成モデルとは異なり、我々のモデルは任意の位相で形状を合成することができる。
論文 参考訳（メタデータ） (2021-11-08T05:29:35Z) - Topologically Consistent Multi-View Face Inference Using Volumetric
Sampling [25.001398662643986]
ToFuは、幾何推論フレームワークで、アイデンティティと式をまたいだトポロジ的に一貫したメッシュを生成することができる。
新たなプログレッシブメッシュ生成ネットワークは、顔のトポロジ的構造を特徴量に埋め込む。
これらの高品質な資産は、アバターの作成、アニメーション、物理的にベースとしたスキンレンダリングのためのプロダクションスタジオで容易に利用することができる。
論文 参考訳（メタデータ） (2021-10-06T17:55:08Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。