論文の概要: EmoFace: Audio-driven Emotional 3D Face Animation

• arxiv url: http://arxiv.org/abs/2407.12501v1
• Date: Wed, 17 Jul 2024 11:32:16 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-18 17:17:27.335027
• Title: EmoFace: Audio-driven Emotional 3D Face Animation
• Title（参考訳）: EmoFace:オーディオ駆動の3D顔アニメーション
• Authors: Chang Liu, Qunfen Lin, Zijiao Zeng, Ye Pan,
• Abstract要約: EmoFaceは、鮮やかな感情的ダイナミクスを備えた顔アニメーションを作成するための、新しいオーディオ駆動の方法論である。 提案手法では,複数の感情で表情を生成でき,ランダムだが自然な点滅や眼球運動を生成できる。 提案手法は、ビデオゲームでプレイ不可能なキャラクターの対話アニメーションを作成し、バーチャルリアリティ環境でアバターを駆動するのに有効である。
• 参考スコア（独自算出の注目度）: 3.573880705052592
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Audio-driven emotional 3D face animation aims to generate emotionally expressive talking heads with synchronized lip movements. However, previous research has often overlooked the influence of diverse emotions on facial expressions or proved unsuitable for driving MetaHuman models. In response to this deficiency, we introduce EmoFace, a novel audio-driven methodology for creating facial animations with vivid emotional dynamics. Our approach can generate facial expressions with multiple emotions, and has the ability to generate random yet natural blinks and eye movements, while maintaining accurate lip synchronization. We propose independent speech encoders and emotion encoders to learn the relationship between audio, emotion and corresponding facial controller rigs, and finally map into the sequence of controller values. Additionally, we introduce two post-processing techniques dedicated to enhancing the authenticity of the animation, particularly in blinks and eye movements. Furthermore, recognizing the scarcity of emotional audio-visual data suitable for MetaHuman model manipulation, we contribute an emotional audio-visual dataset and derive control parameters for each frames. Our proposed methodology can be applied in producing dialogues animations of non-playable characters (NPCs) in video games, and driving avatars in virtual reality environments. Our further quantitative and qualitative experiments, as well as an user study comparing with existing researches show that our approach demonstrates superior results in driving 3D facial models. The code and sample data are available at https://github.com/SJTU-Lucy/EmoFace.
• Abstract（参考訳）: 音声による感情的な3D顔のアニメーションは、感情的に表現力のある会話ヘッドと、同調した唇の動きを生成することを目的としている。 しかし、以前の研究では、多様な感情が表情に与える影響を見逃したり、メタヒューマンモデルを動かすのに不向きであったりすることがしばしば見過ごされてきた。 そこで本研究では,感情動態を鮮明に表現した表情アニメーションを作成するための新しい音声駆動手法であるEmoFaceを紹介する。 提案手法では,複数の感情で表情を生成でき,唇の正確な同期を維持しつつ,ランダムだが自然な点滅や眼球運動を生成できる。 本研究では、音声、感情、および対応する顔制御装置の関係を学習するために、独立した音声エンコーダと感情エンコーダを提案し、最終的にコントローラ値のシーケンスにマップする。 さらに,特に点滅や眼球運動においてアニメーションの信頼性を高めるための2つのポストプロセッシング技術を紹介した。 さらに,メタヒューマンモデル操作に適した感情音声・視覚データの不足を認識し,各フレームに対する感情音声・視覚データセットと制御パラメータの導出に寄与する。 提案手法は、ビデオゲームにおける非プレイ可能な文字(NPC)の対話アニメーションの作成や、バーチャルリアリティ環境でのアバターの駆動に応用できる。 さらに定量的、質的な実験を行い、既存の研究と比較したユーザスタディにより、我々のアプローチは3D顔モデルを駆動する上で優れた結果を示すことが示された。 コードとサンプルデータはhttps://github.com/SJTU-Lucy/EmoFace.comで公開されている。

関連論文リスト

• Audio-Driven Emotional 3D Talking-Head Generation [47.6666060652434]
  本稿では,高精度な感情表現による高忠実・音声駆動型映像像の合成システムを提案する。 本研究では,無声音声入力に応答して自然なアイドル状態(非話者)ビデオを生成するポーズサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-07T08:23:05Z)
• ProbTalk3D: Non-Deterministic Emotion Controllable Speech-Driven 3D Facial Animation Synthesis Using VQ-VAE [0.0]
  感情と非決定主義は多様で感情に富んだ顔のアニメーションを生成するために不可欠である、と我々は主張する。 本稿では,感情制御可能な音声駆動3次元顔画像合成のための非決定論的ニューラルネットワーク手法ProbTalk3Dを提案する。
  論文  参考訳（メタデータ） (2024-09-12T11:53:05Z)
• EMOdiffhead: Continuously Emotional Control in Talking Head Generation via Diffusion [5.954758598327494]
  EMOdiffhead(エモディフヘッド)は、感情的なトーキングヘッドビデオ生成のための新しい方法である。 感情のカテゴリや強度のきめ細かい制御を可能にする。 他の感情像アニメーション法と比較して、最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2024-09-11T13:23:22Z)
• CSTalk: Correlation Supervised Speech-driven 3D Emotional Facial Animation Generation [13.27632316528572]
  音声駆動の3D顔アニメーション技術は長年開発されてきたが、実用的応用には期待できない。 主な課題は、データ制限、唇のアライメント、表情の自然さである。 本稿では,顔の動きの異なる領域間の相関をモデル化し,生成モデルの訓練を監督し,現実的な表現を生成するCSTalkという手法を提案する。
  論文  参考訳（メタデータ） (2024-04-29T11:19:15Z)
• Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
  本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。 EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
  論文  参考訳（メタデータ） (2023-06-15T09:31:31Z)
• Audio-Driven Talking Face Generation with Diverse yet Realistic Facial Animations [61.65012981435094]
  DIRFAは、異なるが現実的な顔のアニメーションを同一の駆動音声から生成できる新しい方法である。 同一音声に対して妥当な顔のアニメーションの変動に対応するため,トランスフォーマーに基づく確率的マッピングネットワークを設計する。 DIRFAは現実的な顔のアニメーションを効果的に生成できることを示す。
  論文  参考訳（メタデータ） (2023-04-18T12:36:15Z)
• EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation [28.964917860664492]
  音声駆動型3D顔アニメーションは、音声の内容と感情にマッチする現実的な表情を生成することを目的としている。 本稿では,3次元表情を豊かに表現するために,音声のさまざまな感情をアンタングルするエンド・ツー・エンドニューラルネットワークを提案する。 我々のアプローチは最先端の手法より優れ、より多様な顔の動きを示す。
  論文  参考訳（メタデータ） (2023-03-20T13:22:04Z)
• Imitator: Personalized Speech-driven 3D Facial Animation [63.57811510502906]
  State-of-the-artメソッドは、ターゲットアクターの顔トポロジを変形させ、ターゲットアクターのアイデンティティ固有の話し方や顔の慣用性を考慮せずに入力オーディオを同期させる。 本稿では,音声による表情合成手法であるImitatorについて述べる。 提案手法は,ターゲットアクターの発話スタイルを保ちながら,入力音声から時間的コヒーレントな表情を生成する。
  論文  参考訳（メタデータ） (2022-12-30T19:00:02Z)
• MeshTalk: 3D Face Animation from Speech using Cross-Modality Disentanglement [142.9900055577252]
  本研究では,顔全体の映像合成を高度に実現するための汎用的な音声駆動顔アニメーション手法を提案する。 このアプローチは、目のまばたきやまばたきなど、音声信号とは無関係な顔の一部のアニメーションを再現すると同時に、高精度な唇の動きを保証します。
  論文  参考訳（メタデータ） (2021-04-16T17:05:40Z)
• Audio- and Gaze-driven Facial Animation of Codec Avatars [149.0094713268313]
  音声および/またはアイトラッキングを用いて,コーデックアバターをリアルタイムにアニメーション化するための最初のアプローチについて述べる。 私たちのゴールは、重要な社会的シグナルを示す個人間の表現力のある会話を表示することです。
  論文  参考訳（メタデータ） (2020-08-11T22:28:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。