論文の概要: EMOCA: Emotion Driven Monocular Face Capture and Animation
- arxiv url: http://arxiv.org/abs/2204.11312v1
- Date: Sun, 24 Apr 2022 15:58:35 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-26 14:19:10.978599
- Title: EMOCA: Emotion Driven Monocular Face Capture and Animation
- Title（参考訳）: EMOCA:感情駆動型モノクルフェイスキャプチャーとアニメーション
- Authors: Radek Danecek, Michael J. Black, Timo Bolkart
- Abstract要約: 本稿では,学習中の感情の深層的一貫性を損なうことによって,再構成された3次元表現が入力画像に表現された表現と一致することを確実にする。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
- 参考スコア（独自算出の注目度）: 59.15004328155593
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As 3D facial avatars become more widely used for communication, it is
critical that they faithfully convey emotion. Unfortunately, the best recent
methods that regress parametric 3D face models from monocular images are unable
to capture the full spectrum of facial expression, such as subtle or extreme
emotions. We find the standard reconstruction metrics used for training
(landmark reprojection error, photometric error, and face recognition loss) are
insufficient to capture high-fidelity expressions. The result is facial
geometries that do not match the emotional content of the input image. We
address this with EMOCA (EMOtion Capture and Animation), by introducing a novel
deep perceptual emotion consistency loss during training, which helps ensure
that the reconstructed 3D expression matches the expression depicted in the
input image. While EMOCA achieves 3D reconstruction errors that are on par with
the current best methods, it significantly outperforms them in terms of the
quality of the reconstructed expression and the perceived emotional content. We
also directly regress levels of valence and arousal and classify basic
expressions from the estimated 3D face parameters. On the task of in-the-wild
emotion recognition, our purely geometric approach is on par with the best
image-based methods, highlighting the value of 3D geometry in analyzing human
behavior. The model and code are publicly available at
https://emoca.is.tue.mpg.de.
- Abstract（参考訳）: 3d顔のアバターがコミュニケーションに広く使われるようになるにつれ、感情を忠実に伝えることが重要である。
残念なことに、単眼画像からパラメトリックな3D顔モデルを回帰する最も最近の手法は、微妙な感情や極端な感情など、表情の完全なスペクトルを捉えることができない。
訓練に使用される標準復元基準(ランドマーク再投影誤差、測光誤差、顔認識損失)は、高忠実度表現をキャプチャするには不十分である。
その結果、入力画像の感情的内容と一致しない顔のジオメトリが得られる。
EMOCA (EMOtion Capture and Animation) でこの問題に対処し、トレーニング中に新たな深い知覚的感情整合性損失を導入し、再構成された3次元表現が入力画像に表現された表現と一致することを保証する。
EMOCAは、現在のベストメソッドと同等の3次元再構成誤差を達成しているが、再構成された表現の質と知覚された感情内容の点で、それらを著しく上回っている。
また,ヴァレンスレベルと覚醒レベルを直接後退させ,推定した3次元顔パラメータから基本表現を分類する。
In-the-wild emotion recognitionのタスクでは、人間の行動を分析する上での3D幾何の価値を強調しながら、最も優れた画像ベースの手法と同等に幾何学的アプローチを実践しています。
モデルとコードはhttps://emoca.is.tue.mpg.deで公開されている。
関連論文リスト
- Emo3D: Metric and Benchmarking Dataset for 3D Facial Expression Generation from Emotion Description [3.52270271101496]
Emo3Dは、人間の感情の幅広い範囲にまたがる広範な「テキスト画像表現データセット」である。
我々は多種多様なテキスト記述を生成し、感情表現の幅広い範囲を捉えやすくする。
エモ3D」はアニメーションデザイン、バーチャルリアリティ、感情的な人間とコンピュータのインタラクションに優れた応用がある。
論文 参考訳（メタデータ） (2024-10-02T21:31:24Z) - 3D Facial Expressions through Analysis-by-Neural-Synthesis [30.2749903946587]
SMIRK(Spatial Modeling for Image-based Reconstruction of Kinesics)は、画像から表現力のある3次元顔を忠実に再構築する。
既存の手法では,自己指導型トレーニングの定式化における欠点と,訓練画像における表現の多様性の欠如の2つの重要な限界を識別する。
我々の質的,定量的,特に知覚的評価は、SMIRKが正確な表現再構成における新しい最先端技術を実現することを証明している。
論文 参考訳（メタデータ） (2024-04-05T14:00:07Z) - Controllable Dynamic Appearance for Neural 3D Portraits [54.29179484318194]
実環境下での3D画像の完全制御を可能にするシステムであるCoDyNeRFを提案する。
CoDyNeRFは、動的外観モデルを通して照明依存効果を近似することを学ぶ。
本手法が明示的な頭部ポーズと表情制御を備えたポートレートシーンのフリービュー合成に有効であることを示す。
論文 参考訳（メタデータ） (2023-09-20T02:24:40Z) - Emotional Speech-Driven Animation with Content-Emotion Disentanglement [51.34635009347183]
本研究では,感情表現の明示的な制御を可能にしつつ,音声からリップシンクを維持する3次元音声アバターを生成するEMOTEを提案する。
EmOTEは、同じデータでトレーニングされた最先端の方法よりも、リップシンクで音声駆動の顔アニメーションを生成する。
論文 参考訳（メタデータ） (2023-06-15T09:31:31Z) - EmoTalk: Speech-Driven Emotional Disentanglement for 3D Face Animation [28.964917860664492]
音声駆動型3D顔アニメーションは、音声の内容と感情にマッチする現実的な表情を生成することを目的としている。
本稿では,3次元表情を豊かに表現するために,音声のさまざまな感情をアンタングルするエンド・ツー・エンドニューラルネットワークを提案する。
我々のアプローチは最先端の手法より優れ、より多様な顔の動きを示す。
論文 参考訳（メタデータ） (2023-03-20T13:22:04Z) - 3D-TalkEmo: Learning to Synthesize 3D Emotional Talking Head [13.305263646852087]
3D-TalkEmoは、様々な感情を持つ3Dトークヘッドアニメーションを生成するディープニューラルネットワークです。
私たちはまた、オーディオとビデオの同期、豊富なコーパス、異なる人のさまざまな感情状態を含む大きな3dデータセットも作成します。
論文 参考訳（メタデータ） (2021-04-25T02:48:19Z) - FaceDet3D: Facial Expressions with 3D Geometric Detail Prediction [62.5557724039217]
表情は3d顔形状の様々な高レベルな詳細を誘導する。
人間の顔のモルフォラブルモデル(3DMM)は、PCAベースの表現でそのような細かい詳細をキャプチャできません。
faceet3dは,1つの画像から,任意の対象表現と一致する幾何学的顔詳細を生成する,初歩的な手法である。
論文 参考訳（メタデータ） (2020-12-14T23:07:38Z) - DeepFaceFlow: In-the-wild Dense 3D Facial Motion Estimation [56.56575063461169]
DeepFaceFlowは、3D非剛体顔の流れを推定するための堅牢で高速で高精度なフレームワークである。
私たちのフレームワークは、2つの非常に大規模な顔ビデオデータセットでトレーニングされ、テストされました。
登録された画像に対して,60fpsで3次元フローマップを生成する。
論文 参考訳（メタデータ） (2020-05-14T23:56:48Z) - Real-time Facial Expression Recognition "In The Wild'' by Disentangling
3D Expression from Identity [6.974241731162878]
本稿では,1枚のRGB画像から人間の感情認識を行う新しい手法を提案する。
顔のダイナミックス、アイデンティティ、表情、外観、3Dポーズのバリエーションに富んだ大規模な顔ビデオデータセットを構築した。
提案するフレームワークは毎秒50フレームで動作し、3次元表現変動のパラメータを頑健に推定することができる。
論文 参考訳（メタデータ） (2020-05-12T01:32:55Z) - Deep 3D Portrait from a Single Image [54.634207317528364]
1枚の肖像画から人間の頭部の3次元形状を復元するための学習に基づくアプローチを提案する。
顔画像から3次元頭部再構成を学習するための2段階の幾何学的学習手法を提案する。
提案手法の精度を3次元画像と2次元画像のポーズ操作の両方で評価した。
論文 参考訳（メタデータ） (2020-04-24T08:55:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。