論文の概要: PMMTalk: Speech-Driven 3D Facial Animation from Complementary Pseudo Multi-modal Features

• arxiv url: http://arxiv.org/abs/2312.02781v1
• Date: Tue, 5 Dec 2023 14:12:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-06 15:33:48.199093
• Title: PMMTalk: Speech-Driven 3D Facial Animation from Complementary Pseudo Multi-modal Features
• Title（参考訳）: pmmtalk:疑似マルチモーダル特徴を用いた音声駆動3次元顔アニメーション
• Authors: Tianshun Han, Shengnan Gui, Yiqing Huang, Baihui Li, Lijian Liu, Benjia Zhou, Ning Jiang, Quan Lu, Ruicong Zhi, Yanyan Liang, Du Zhang, Jun Wan
• Abstract要約: 音声駆動の3D顔アニメーションは、最近大幅に改善されている。 関連作品の多くは音響的モダリティのみを利用しており、視覚的・テキスト的手がかりの影響を無視している。 顔アニメーションの精度を向上させるために,Pseudo Multi-Modal 機能を用いた新しいフレームワーク PMMTalk を提案する。
• 参考スコア（独自算出の注目度）: 22.31865247379668
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Speech-driven 3D facial animation has improved a lot recently while most related works only utilize acoustic modality and neglect the influence of visual and textual cues, leading to unsatisfactory results in terms of precision and coherence. We argue that visual and textual cues are not trivial information. Therefore, we present a novel framework, namely PMMTalk, using complementary Pseudo Multi-Modal features for improving the accuracy of facial animation. The framework entails three modules: PMMTalk encoder, cross-modal alignment module, and PMMTalk decoder. Specifically, the PMMTalk encoder employs the off-the-shelf talking head generation architecture and speech recognition technology to extract visual and textual information from speech, respectively. Subsequently, the cross-modal alignment module aligns the audio-image-text features at temporal and semantic levels. Then PMMTalk decoder is employed to predict lip-syncing facial blendshape coefficients. Contrary to prior methods, PMMTalk only requires an additional random reference face image but yields more accurate results. Additionally, it is artist-friendly as it seamlessly integrates into standard animation production workflows by introducing facial blendshape coefficients. Finally, given the scarcity of 3D talking face datasets, we introduce a large-scale 3D Chinese Audio-Visual Facial Animation (3D-CAVFA) dataset. Extensive experiments and user studies show that our approach outperforms the state of the art. We recommend watching the supplementary video.
• Abstract（参考訳）: 音声駆動の3D顔アニメーションは、音響的モダリティのみを利用し、視覚的およびテキスト的手がかりの影響を無視し、精度とコヒーレンスの観点から不満足な結果をもたらす。 我々は、視覚とテキストの手がかりは自明な情報ではないと主張する。 そこで本研究では,疑似マルチモーダル特徴を用いたpmmtalkという新たな枠組みを提案する。 フレームワークにはPMMTalkエンコーダ、クロスモーダルアライメントモジュール、PMMTalkデコーダの3つのモジュールが含まれている。 具体的には, PMMTalkエンコーダは, 音声から視覚情報とテキスト情報を抽出するために, 市販の音声ヘッド生成アーキテクチャと音声認識技術を用いている。 その後、クロスモーダルアライメントモジュールは、時間的および意味的なレベルでオーディオ-画像-テキスト特徴を整列する。 次にPMMTalkデコーダを用いて唇同期顔ブレンドシェープ係数を予測する。 以前の方法とは異なり、pmmtalkは追加のランダム参照顔画像のみを必要とするが、より正確な結果が得られる。 さらに、顔のブレンド形状係数を導入することで、標準的なアニメーション制作ワークフローにシームレスに統合できるため、アーティストに優しい。 最後に,3D音声顔データセットの不足を踏まえ,大規模な3D中国語音声映像アニメーション(3D-CAVFA)データセットを導入する。 大規模な実験とユーザスタディにより、我々のアプローチは芸術の状態を上回ります。 補足ビデオを見ることをお勧めします。

関連論文リスト

• MMHead: Towards Fine-grained Multi-modal 3D Facial Animation [68.04052669266174]
  大規模なマルチモーダル3次元顔アニメーションデータセットMMHeadを構築した。 MMHeadは、49時間の3D顔の動きシーケンス、音声、リッチな階層的なテキストアノテーションで構成されている。 MMHeadデータセットに基づいて,テキストによる3次元対話ヘッドアニメーションとテキストから3次元の顔の動き生成という,2つの新しいタスクのベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-10-10T09:37:01Z)
• SAiD: Speech-driven Blendshape Facial Animation with Diffusion [6.4271091365094515]
  大規模なビジュアルオーディオデータセットが不足しているため、音声駆動の3D顔アニメーションは困難である。 拡散モデル (SAiD) を用いた音声駆動型3次元顔アニメーションを提案する。
  論文  参考訳（メタデータ） (2023-12-25T04:40:32Z)
• GSmoothFace: Generalized Smooth Talking Face Generation via Fine Grained 3D Face Guidance [83.43852715997596]
  GSmoothFaceは、粒度の細かい3次元顔モデルによってガイドされる、2段階の一般化された話し顔生成モデルである。 スピーカーのアイデンティティを保ちながらスムーズな唇の動きを合成することができる。 定量的および定性的な実験は、リアリズム、唇の同期、視覚的品質の観点から、我々の方法の優位性を確認する。
  論文  参考訳（メタデータ） (2023-12-12T16:00:55Z)
• DiffPoseTalk: Speech-Driven Stylistic 3D Facial Animation and Head Pose Generation via Diffusion Models [24.401443462720135]
  本稿では,拡散モデルとスタイルエンコーダを組み合わせた生成フレームワークであるDiffPoseTalkを提案する。 特に、私たちのスタイルには、頭部ポーズの生成が含まれており、それによってユーザの知覚が向上する。 高品質な映像データセットから再構成された3DMMパラメータをモデルに学習することで,3D音声データ不足に対処する。
  論文  参考訳（メタデータ） (2023-09-30T17:01:18Z)
• SelfTalk: A Self-Supervised Commutative Training Diagram to Comprehend 3D Talking Faces [28.40393487247833]
  音声駆動型3次元顔アニメーション技術とその様々なマルチメディア分野への応用 これまでの研究では、有望なリアルな唇の動きと、音声信号による表情が生み出された。 本稿では,3次元の話し言葉を学習するクロスモーダルネットワークシステムに自己監督を組み込むことにより,新たなフレームワークであるSelfTalkを提案する。
  論文  参考訳（メタデータ） (2023-06-19T09:39:10Z)
• FaceFormer: Speech-Driven 3D Facial Animation with Transformers [46.8780140220063]
  音声駆動の3D顔アニメーションは、人間の顔の複雑な形状と、3Dオーディオ視覚データの利用が制限されているため、難しい。 本研究では,トランスフォーマーをベースとした自動回帰モデルFaceFormerを提案し,長期音声コンテキストを符号化し,アニメーション3D顔メッシュのシーケンスを自動回帰予測する。
  論文  参考訳（メタデータ） (2021-12-10T04:21:59Z)
• Learning to Predict Salient Faces: A Novel Visual-Audio Saliency Model [96.24038430433885]
  本稿では,視覚,音声,顔の3つの分枝からなるマルチモーダルビデオサリエンシーモデルを提案する。 実験結果から,提案手法は,11の最先端サリエンシ予測作業より優れていた。
  論文  参考訳（メタデータ） (2021-03-29T09:09:39Z)
• Learning Speech-driven 3D Conversational Gestures from Video [106.15628979352738]
  同期3D対話体と手のジェスチャーの両方を自動的に共同合成する最初のアプローチを提案します。 本アルゴリズムは,表情と手のジェスチャーの固有相関を利用したcnnアーキテクチャを用いる。 われわれはまた、33時間以上の注釈付きボディ、手、顔データからなる大きなコーパスを作成する新しい方法にも貢献する。
  論文  参考訳（メタデータ） (2021-02-13T01:05:39Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。