論文の概要: SEREP: Semantic Facial Expression Representation for Robust In-the-Wild Capture and Retargeting

• arxiv url: http://arxiv.org/abs/2412.14371v1
• Date: Wed, 18 Dec 2024 22:12:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-20 13:32:27.722653
• Title: SEREP: Semantic Facial Expression Representation for Robust In-the-Wild Capture and Retargeting
• Title（参考訳）: SEREP:ロバストなin-the-Wildキャプチャとリターゲティングのための意味的表情表現
• Authors: Arthur Josi, Luiz Gustavo Hafemann, Abdallah Dib, Emeline Got, Rafael M. O. Cruz, Marc-Andre Carbonneau,
• Abstract要約: セマンティック表現表現(Semantic Expression Representation, SEREP)は, セマンティックレベルで表現を同一性から切り離すモデルである。 我々は、ドメイン適応に依存する新しい半教師付きスキームを用いて、単眼画像から表現を予測するモデルを訓練する。 実験の結果、SEREPは最先端の手法よりも優れており、挑戦的な表現を捉え、それらを新しいアイデンティティに転送する。
• 参考スコア（独自算出の注目度）: 4.083283519300837
• License:
• Abstract: Monocular facial performance capture in-the-wild is challenging due to varied capture conditions, face shapes, and expressions. Most current methods rely on linear 3D Morphable Models, which represent facial expressions independently of identity at the vertex displacement level. We propose SEREP (Semantic Expression Representation), a model that disentangles expression from identity at the semantic level. It first learns an expression representation from unpaired 3D facial expressions using a cycle consistency loss. Then we train a model to predict expression from monocular images using a novel semi-supervised scheme that relies on domain adaptation. In addition, we introduce MultiREX, a benchmark addressing the lack of evaluation resources for the expression capture task. Our experiments show that SEREP outperforms state-of-the-art methods, capturing challenging expressions and transferring them to novel identities.
• Abstract（参考訳）: 単眼での顔のパフォーマンスキャプチャは、様々なキャプチャ条件、顔の形状、表情によって困難である。 現在のほとんどの手法は、頂点変位レベルでのアイデンティティとは独立して表情を表現する線形3次元モルファブルモデルに依存している。 セマンティック表現表現(Semantic Expression Representation)は,セマンティックレベルで表現を同一性から切り離すモデルである。 まず、サイクル整合損失を用いて、不対向な3次元表情から表現表現を学習する。 次に、ドメイン適応に依存する新しい半教師付きスキームを用いて、単眼画像から表現を予測するモデルを訓練する。 また,式キャプチャタスクの評価リソースの欠如に対処するベンチマークであるMultiREXを紹介する。 実験の結果、SEREPは最先端の手法よりも優れており、挑戦的な表現を捉え、それらを新しいアイデンティティに転送する。

関連論文リスト

• OSDFace: One-Step Diffusion Model for Face Restoration [72.5045389847792]
  拡散モデルは、顔の修復において顕著な性能を示した。 顔復元のための新しいワンステップ拡散モデルOSDFaceを提案する。 その結果,OSDFaceは現状のSOTA(State-of-the-art)手法を視覚的品質と定量的指標の両方で上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-11-26T07:07:48Z)
• A Generative Framework for Self-Supervised Facial Representation Learning [18.094262972295702]
  自己教師付き表現学習は、ペア化されたデータセットに頼ることなく、強力な一般化能力に注目されるようになった。 自己監督型顔表現学習は、顔のアイデンティティ、表情、ポーズや光といった外部要因の結合により未解決のままである。 自己教師型顔表現のための新しい生成フレームワークであるLatentFaceを提案する。
  論文  参考訳（メタデータ） (2023-09-15T09:34:05Z)
• GaFET: Learning Geometry-aware Facial Expression Translation from In-The-Wild Images [55.431697263581626]
  本稿では,パラメトリックな3次元顔表現をベースとした新しい顔表情翻訳フレームワークを提案する。 我々は、最先端の手法と比較して、高品質で正確な表情伝達結果を実現し、様々なポーズや複雑なテクスチャの適用性を実証する。
  論文  参考訳（メタデータ） (2023-08-07T09:03:35Z)
• Controllable 3D Generative Adversarial Face Model via Disentangling Shape and Appearance [63.13801759915835]
  3次元顔モデリングはコンピュータビジョンとコンピュータグラフィックスの研究の活発な領域である。 本稿では,識別と表現を分離できる新しい3次元顔生成モデルを提案する。
  論文  参考訳（メタデータ） (2022-08-30T13:40:48Z)
• ImFace: A Nonlinear 3D Morphable Face Model with Implicit Neural Representations [21.389170615787368]
  本稿では,暗黙のニューラル表現を持つ非線形かつ連続的な空間を学習するために,新しい3次元顔モデルImFaceを提案する。 2つの明示的に非交叉な変形場を構築し、それぞれアイデンティティと表現に関連する複雑な形状をモデル化し、表現の埋め込みを拡張するための改良された学習戦略を設計する。 ImFaceに加えて、暗黙の表現における水密入力要求の問題に対処するために、効果的な前処理パイプラインが提案されている。
  論文  参考訳（メタデータ） (2022-03-28T05:37:59Z)
• Learning to Aggregate and Personalize 3D Face from In-the-Wild Photo Collection [65.92058628082322]
  非パラメトリックフェースモデリングは形状仮定なしで画像からのみ3次元フェースを再構成することを目的としている。 本稿では,教師なしのロバストな3次元顔モデリングのための学習・アグリゲート・パーソナライズ・フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-15T03:10:17Z)
• MorphGAN: One-Shot Face Synthesis GAN for Detecting Recognition Bias [13.162012586770576]
  本論文では, 頭部ポーズと表情調節を, 既視者の画像に適用するシミュレータについて述べる。 顔の小さなデータセットを新しいポーズと表現で拡張することで、増強やデータの不足に応じて、認識性能を最大9%向上することを示す。
  論文  参考訳（メタデータ） (2020-12-09T18:43:03Z)
• Learning an Animatable Detailed 3D Face Model from In-The-Wild Images [50.09971525995828]
  本研究では, 実物的詳細と実物的画像から3次元顔レグレッサーを共同学習する第1の手法を提案する。 DECAモデルは、低次元の潜時表現からUV変位マップを堅牢に生成するように訓練されています。 本稿では,人固有の細部と表情依存のしわを区別する新しい細部一貫性損失を提案する。
  論文  参考訳（メタデータ） (2020-12-07T19:30:45Z)
• LEED: Label-Free Expression Editing via Disentanglement [57.09545215087179]
  LEEDフレームワークは、表現ラベルを必要とせずに、前頭顔画像とプロファイル顔画像の両方の表現を編集することができる。 2つの新たな損失は、最適な表現の切り離しと一貫した合成のために設計されている。
  論文  参考訳（メタデータ） (2020-07-17T13:36:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。