論文の概要: Are 3D Face Shapes Expressive Enough for Recognising Continuous Emotions and Action Unit Intensities?

• arxiv url: http://arxiv.org/abs/2207.01113v1
• Date: Sun, 3 Jul 2022 20:19:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-05 16:50:27.501549
• Title: Are 3D Face Shapes Expressive Enough for Recognising Continuous Emotions and Action Unit Intensities?
• Title（参考訳）: 3次元顔形状は連続感情と行動単位強度を認識するのに十分か?
• Authors: Mani Kumar Tellamekala, \"Omer S\"umer, Bj\"orn W. Schuller, Elisabeth Andr\'e, Timo Giesbrecht, Michel Valstar
• Abstract要約: この研究は、パラメトリックな3次元顔形状アライメントモデルに基づく有望な代替手段に焦点を当てている。 我々は,最近の3次元顔アライメントモデルであるExpNet, 3DDFA-V2, DECA, EMOCAをベンチマークした。 AUs 4, 6, 10, 12, 25の3次元顔の特徴はAUs4, 6, 10, 12, 25の2次元顔の特徴と同等であるが,AUs全体の特徴ではない。
• 参考スコア（独自算出の注目度）: 1.2233362977312945
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recognising continuous emotions and action unit (AU) intensities from face videos requires a spatial and temporal understanding of expression dynamics. Existing works primarily rely on 2D face appearances to extract such dynamics. This work focuses on a promising alternative based on parametric 3D face shape alignment models, which disentangle different factors of variation, including expression-induced shape variations. We aim to understand how expressive 3D face shapes are in estimating valence-arousal and AU intensities compared to the state-of-the-art 2D appearance-based models. We benchmark four recent 3D face alignment models: ExpNet, 3DDFA-V2, DECA, and EMOCA. In valence-arousal estimation, expression features of 3D face models consistently surpassed previous works and yielded an average concordance correlation of .739 and .574 on SEWA and AVEC 2019 CES corpora, respectively. We also study how 3D face shapes performed on AU intensity estimation on BP4D and DISFA datasets, and report that 3D face features were on par with 2D appearance features in AUs 4, 6, 10, 12, and 25, but not the entire set of AUs. To understand this discrepancy, we conduct a correspondence analysis between valence-arousal and AUs, which points out that accurate prediction of valence-arousal may require the knowledge of only a few AUs.
• Abstract（参考訳）: 顔ビデオから連続的な感情と行動単位(AU)の強度を認識するには、表現力学の空間的および時間的理解が必要である。 既存の作品は主に2d顔の外観に頼り、そのようなダイナミックスを抽出している。 本研究は,パラメトリック3次元顔形状アライメントモデルに基づく有望な代替案に焦点をあてる。 最先端の2次元外観モデルと比較し,valence-arousalおよびau強度の推定における表現力の高い3d顔形状について理解することを目的とした。 我々は,最近の3次元顔アライメントモデルであるExpNet, 3DDFA-V2, DECA, EMOCAをベンチマークした。 valence-arousal estimationでは、3d顔モデルの表現特性は従来より一貫して優れており、sewaとavec 2019 ces corporaでは.739と.574の平均一致相関を示した。 また, BP4DおよびdisFAデータセットのAU強度推定において, 3次元顔形状がAU4, 6, 10, 12, 25の2次元顔形状と同等であるが, AUの集合全体ではないことを報告した。 この違いを理解するために,valence-arousal と aus の対応分析を行い,valence-arousal の正確な予測には少数の aus の知識が必要であることを指摘した。

関連論文リスト

• Ig3D: Integrating 3D Face Representations in Facial Expression Inference [12.975434103690812]
  本研究の目的は,表情推論タスクに3次元表現を統合することの影響を検討することである。 まず、FEIタスクにおける2つの3次元顔表現(どちらも3次元形態素モデル、FLAMEに基づく)の性能を評価する。 次に、既存の2D推論フレームワークと3D顔表現を統合するために、中間融合と後期融合という2つの融合アーキテクチャについて検討する。 提案手法は,最先端のAffectNet VA推定とRAF-DB分類タスクより優れている。
  論文  参考訳（メタデータ） (2024-08-29T21:08:07Z)
• AnimateMe: 4D Facial Expressions via Diffusion Models [72.63383191654357]
  拡散モデルの最近の進歩により、2次元アニメーションにおける生成モデルの能力が向上した。 グラフニューラルネットワーク(GNN)は,メッシュ空間上で直接拡散過程を定式化し,新しい手法で拡散モデルを記述する。 これにより、メッシュ拡散モデルによる顔の変形の発生が容易になる。
  論文  参考訳（メタデータ） (2024-03-25T21:40:44Z)
• From Static to Dynamic: Adapting Landmark-Aware Image Models for Facial Expression Recognition in Videos [88.08209394979178]
  野生における動的表情認識(DFER)は、データ制限によって依然として妨げられている。 抽出された顔のランドマーク認識機能に暗黙的に符号化された既存のSFER知識と動的情報を活用する新しい静的・動的モデル(S2D)を提案する。
  論文  参考訳（メタデータ） (2023-12-09T03:16:09Z)
• ImFace++: A Sophisticated Nonlinear 3D Morphable Face Model with Implicit Neural Representations [25.016000421755162]
  本稿では,暗黙のニューラル表現を持つ高度で連続的な空間を学習するために,ImFace++という新しい3次元顔モデルを提案する。 ImFace++は、まず2つの明示的に歪んだ変形フィールドを構築し、アイデンティティと式に関連する複雑な形状をモデル化する。 さらにテンプレート空間内の精細化変位場が組み込まれ、個々の顔の詳細をきめ細かな学習が可能となる。
  論文  参考訳（メタデータ） (2023-12-07T03:53:53Z)
• Decaf: Monocular Deformation Capture for Face and Hand Interactions [77.75726740605748]
  本稿では,単眼のRGBビデオから人間の顔と対話する人間の手を3Dで追跡する手法を提案する。 動作中の非剛性面の変形を誘発する定形物体として手をモデル化する。 本手法は,マーカーレスマルチビューカメラシステムで取得した現実的な顔変形を伴う手動・インタラクションキャプチャーデータセットに頼っている。
  論文  参考訳（メタデータ） (2023-09-28T17:59:51Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• RiCS: A 2D Self-Occlusion Map for Harmonizing Volumetric Objects [68.85305626324694]
  カメラ空間における光マーチング (RiCS) は、3次元における前景物体の自己閉塞を2次元の自己閉塞マップに表現する新しい手法である。 表現マップは画像の質を高めるだけでなく,時間的コヒーレントな複雑な影効果をモデル化できることを示す。
  論文  参考訳（メタデータ） (2022-05-14T05:35:35Z)
• ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural Representations [21.389170615787368]
  本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。 2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。 ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
  論文  参考訳（メタデータ） (2022-03-28T05:37:59Z)
• Identity-Expression Ambiguity in 3D Morphable Face Models [5.38250259923059]
  同一性や表現の変化の非直交性は3次元形態素モデルにおいて自己表現の曖昧さを引き起こす可能性があることを示す。 我々はこの効果を3次元形状と逆レンダリングタスクで直接示す。
  論文  参考訳（メタデータ） (2021-09-29T06:11:43Z)
• Magnifying Subtle Facial Motions for Effective 4D Expression Recognition [56.806738404887824]
  3D面の流れをまず解析し、空間的な変形を捉えます。 これらの変形の得られた時間的進化は、拡大法に供給される。 本論文の主な貢献である後者では、感情分類性能を高める微妙な(隠れた)変形を明らかにすることができる。
  論文  参考訳（メタデータ） (2021-05-05T20:47:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。